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内 容 简介 


本 书 且 作者 密 年 来 为 四 川 某 些 高 校 理工 科 相 关 专 业 的 硕士 研究 生 、 工 程 硬 士 生 、 
村 科 生 开设 “最 优 北方 法 "课程 ,在 教学 实践 及 所 编 教材 的 基础 上 :对 搜集 整理 的 大 
量 材料 经 过 充分 栈 醒 ,反复 峰 订 而 成 的 。 

李 书 在 课程 内 容 钼 理 上 避 循 如 下 原则 :突出 方法 ,注重 概念 , 通 当 介绍 算法 的 基 
本 理论 ;强调 应 用 ,加 强 算法 实现 的 基本 训练 ;引导 学 生 主 动 思考 ,激发 学 生 的 学 习 兴 
趣 : 适 过 算法 到 程序 设计 有 序 而 系统 的 训练 ,提高 学 生 程序 设计 的 能 力 。 

全 书 分 为 上 、 下 两 第 ,上 篇 共 9 章 , 介 绍 无 约束 最 优化 方法 。 第 1 章 为 基础 知识 ,介绍 
凸 集 的 基本 性 质 , 阔 数 及 凸 函数 的 最 优 性 条 件 ;第 2 章 综述 最 忧 化 问题 及 无 约束 最 优化 算 
法 ;第 3 章 至 第 9 章 分 别 介绍 求解 无 约束 最 忧 化 同 题 的 各 种 算法 。 下 箱 共 9 童 ,介绍 约束 
最 优化 方法 。 第 I0\11 两 章 介绍 路 性 规划 问题 及 其 解法 :第 了 2 章 至 16 章 介 绍 非 线性 规划 
的 最 枕 性 条 件 及 常用 的 算法 ;第 7 音 讨 论 高 数 系统 的 动态 规划 方法 ;第 18 章 简 单 介绍 了 
包括 禁忌 搜索 .模拟 退火 ,遗传 算法 和 神经 网 络 算 法 等 现代 优化 算法 。 

本 书 可 必 为 高 等 院 校 理工 科 相 关 专 业 的 硕士 生 . 工 程 大 士 生 以 及 高 年 级 李 科 生 
的 教材 ,也 可 殿 从 事 相 关 工 作 的 科研 估 员 和 工程 技术 人 员 矢 考 。 
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最 优化 方法 和 理论 来 源 于 和 军事: 管理. 经济 和 工程 技术 领域 的 各 小 方 
面 , 其 内 容 的 深度 和 广度 也 随 着 各 沾 不同 阶段 的 科学 技术 水 平 而 发 展 。 
两 次 世界 大 战 ,尤其 是 二 战 中 提出 了 很 多 军 囊 最 优化 问题 。 这 些 问题 及 
其 解决 方法 具有 鲜明 的 特色 :数据 是 实践 中 的 真实 数据 ,解决 问题 的 人 员 
组 成 是 多 学 科 的 ,处 理 问 题 的 方法 渗透 着 物理 学 的 思想 。 

第 二 次 世界 大 战 以 后 最 优化 方法 的 应 用 由 军事 问题 转 入 民用 问题 ， 
提出 了 工程 技术 和 现代 管理 的 最 优化 理论 和 方法 。 特 别 是 近 三 十 多 年 
来 ,由 于 科学 技术 的 需要 以 及 计算 机 和 计算 技术 的 发 展 ,为 求解 各 种 复杂 
问题 的 最 优化 方法 和 理论 提供 了 雄厚 的 基础 和 手段 。 最 优化 的 应 用 范围 
也 意 来 您 广 ,涉及 设计 、 操 作 、 工 业 过 程 , 生 产 装 置 的 分 析 以 及 生产 计划 制 
定 ,经 济 运作 的 决策 等 等 问题 。 由 于 最 优化 方法 是 寻找 最 好 效果 的 条 件 
的 方法 ,所 以 具有 十 分 重要 的 现实 意义 。 

作者 多 年 来 为 四 川 大 学 等 高 技 理工 科 相 关 专 业 的 硕士 研究 生 、 高 年 
级 木 科 生 开设 “最 优化 计算 方法 "课程 。 本 书 系统 介绍 非 线性 量 优 化 计 
算 方 法 及 理论 ,是 在 教学 实践 及 所 编 教 材 的 基础 上 反复 修订 而 成 的 。 在 
内 容 的 处 理 上 , 济 循 如 下 原则 :注重 概念 .突出 方法 ,适当 介绍 方法 的 基本 
理论 ;加 强 算 法 实现 的 鞍 本 训练 ,通过 算法 到 程序 设计 有 序 而 系统 的 讲 
练 , 提 高 学 生 数 值 计算 和 程序 设计 的 能 力 ; 突 出 应 用 , 结 侣 实际 问题 介绍 
求解 数学 模型 的 常用 算法 ,并 配 有 数值 计算 实例 ,吸引 学 生 思考 ,激发 其 
学 习 兴 趣 。 

全 书 分 上 、 下 两 篇 ,共计 18 章 。 上 篇 第 上 章 至 第 9 章 介 绍 无 约束 最 
优化 方法 。 第 1 章 介绍 景 优化 方法 的 基础 知识 ,包括 吓 蚤 数 的 窒 仿 及 基 
本 性 质 ,函数 及 本 函数 的 最 优 性 条 件 ; 第 2 章 概 述 最 优化 问题 及 无 约束 最 
优化 算法 ;第 3 章 至 第 9 章 分 别 介绍 常用 的 无 约束 最 优化 方法 ,如 一 维 寻 
查 方 法 、Newton 方法 及 所 Newton 方法 . 共 连 方向 法 .直接 市 法、 线性 最 小 
二 乘法 及 非 如 性 最 小 二 乘法 等 等 。 

下 篇 第 10 章 至 第 18 章 介绍 约束 最 优化 方法 。 第 10 章 至 第 11 章 介 
缁 线性 规划 及 整数 规划 :第 12 章 至 第 13 章 介 绍 非 线性 规划 的 最 优 性 条 
件 和 对 偶 理 论 ;第 14 章 至 第 16 章 介绍 常用 的 约束 最 优化 算法 ,包括 可 行 
方向 法 、 投 影 梯度 法 、 罚 函数 及 精确 罚 函 数 法 、 二 次 规划 方法 等 等 ;第 17 
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章 介绍 离散 系统 的 动态 观 划 方法 ;第 18 章 介 绍 处 理 组 合 优化 问题 的 现代 
优化 方法 。 

本 书 的 附录 贡 介 绍 了 最 优化 方法 产生 的 历 吏 背景 和 发 展 进 程 , 附 录 
焉 介绍 当今 世界 上 最 流行 的 数学 软件 Matlab 及 其 在 最 优化 方法 .数据 处 
理 方面 的 应 用 。 

本 书 编写 工作 具体 分 工 如 下 : 

上 着 第 1 章 至 第 9 章 及 全 书 的 三 个 附录 由 张 光 澄 .张震 联合 执笔 ;下 
卷 第 10 章 ,第 11 章 ,第 18 章 由 王 文 娟 执笔 ;第 12 章 .第 14 章 .第 15 章 、 
第 16 章 由 韩 会 大 执笔 ;第 13 章 由 范 安 东 执 笔 ;第 17 章 由 张 光 淤 执笔 。 
全 书 由 张 光 澄 、 王 文 媚 统 稿 完 成 编写 工作 。 

作者 十 分 感谢 高 等 教育 出 版 社 对 本 书 编辑 与 出 版 所 给 予 的 闫 已 和 冯 
持 。 感 谢 四 川 大 学 王 兰 清 救 授 , 王 宝 富 副 院 长 和 成 都 理工 大 学 施 泽 进 教 
授 、 魏 贵 民 教授 、. 郭 科 院 长 对 本 书 编 写 工 作 给 予 的 甘心 和 帮助 。 四 川 大 学 
侯 泽 华 副教授 和 成 都 理工 大 学 的 张 章 华 、 田 定单 、 叶 愉 莲 、 上 骨 伟 等 同学 进 
助 整理 本 书 初 稿 做 了 大 量 如 和 致 的 工作 ,在 此 一 并 致 以 最 诚挚 的 谢意 。 

作者 力图 使 本 书 反 里 景 伦 化 志 法 的 多 样 性 、 基 本 理论 的 严密 性 ,应 用 
的 广泛 性 ,但 由 于 作者 水 平 有 限 , 存 思想 的 表达 和 对 内 容 的 取 合 安排、 入 
接 等 方面 难免 存在 缺点 甚至 错误 , 恩 请 读者 批评 指正 。 


张 光 洪 
2005 年 元 月 
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本 书 主要 符号 索引 


RR" 一 —n 维 实 向 量 空间 


T 一 一 向 量 或 矩阵 的 转 置 
Xx" = 于 维 实 列 向 量 , 记 为 
下 (2 
人 (xr 2 J 和 
Wp a a 


e, 一 一 第 i 个 分 量 为 1 的 单位 向 量 

yz E R" 一 一 属于 R" 的 任意 维 实 向 基 

f:SCR' 一 RR' 一 /是 定义 在 R" 中 区 域 S$ 上 的 实 值 沙 数 

AB,H,U,I,G 等 一 一 矩阵 

1 -ll 向 量 或 矩阵 的 苑 数 ( | ， 1， 为 欧 氏 范 数 , | 1 us 为 无 
穷 范 数 ) 

det(4) 一 一 矩阵 4 的 行列 式 

fankft4) 一 一 矩阵 4 的 秩 

[418] 一 线性 方程 组 的 系数 矩阵 4 与 右 端 向 量 立 形成 的 增 广 矩阵 


二 一 一 近似 于 
= 局 于 
一 一 不 属于 


U 一 一 集合 的 并 运算 

门 一 一 集合 的 交 运 算 

汪 > 一 一 集合 之 间 的 包含 

c 一 -一 集合 之 间 的 被 包含 

3 一 一 存在 

at. 一 一 满足 于 ”Subject to” 的 编写 

NN_( 下 ) 一 一 以 为 中 心 ,s 为 半径 的 邻 域 
N(x058) 一 一 以 x 为 中 心 ,6 为 半径 的 邻 域 

V fx) 一 f(x) 的 梯度 ,或 记 为 8(x) = VV f(x) 
Vf(x) 一 一 f(x) 的 Hessan 梯度 ,或 记 为 HCx) = Vx) 
epi f(x}) 一 一 fx) 的 上 图 像 ,简称 A 作 x) 的 上 力 
hyp A(x) 一 f(x) 的 下 图 像 ,简称 A(x) 的 下 图 
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本 书 主 要 符号 索引 


int 3 一 一 集合 5 的 内部 
-终止 条 件 一 一 D. M. Himmeiblan 提出 的 判别 极 小 点 的 收 王 淮 刚 
4- 内 积 一 两 向 量 关 于 具 阵 4 的 内 积 , 即 (x ,7)，=xTdy 
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上 篇 
无 约束 最 优化 方法 


第 1 章 基础 知识 


本 章 介 绍 最 优 化 方法 的 理论 基础 : 凸 集 各 凸 消 数 的 概念 及 其 基本 性 
质 ; 函 数 极 值 的 最 优 人 性 条 件 ; 凸 函数 极 值 的 最 优 人 性 条 件 . 


1.1 凸 集 及 其 基本 性 质 


定义 1.1 非 空 集合 SCR" 称 为 凸 集 , 若 对 于 任意 x ,za E 3 和 任意 
实数 A E[0,1] ,使 连接 x ,x; 两 点 的 线 眉 上 的 任意 点 工 生 *, 邯 
将 = AX + tl —- Ax, 人 ES. 
二 维 情 形 如 图 1 ~1 所 示 . 


OO 


止 集 非 凸 集 
图 1-1 
显然 ,平面 上 的 砚 域 是 凸 集 , 玉 " 中 以 点 x" E 及 为 心 的 球 5= ix | 1x =- 
x ”| <8i 是 凸 集 . 
定义 12 设 非 空 集合 5CR’, 称 集合 (5) 为 5 的 凸 包 ,车 x EE 
H(5) ,当量 仅 当 
算 三 六 AX,, 


其 中 ,A = 1(A; 闻 00,7 = 1 ,Rk) ,Xx, EE StI = 1 , 丰 汶 正 整 数 . 
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二 维 情形 如 图 1 -2 所 示 . 
Di: 时 
ms) HAS) HS) 


图 1 -2 
从 图 1 -2 看 到 ,H(t5) 是 所 有 包含 5 的 最 小 凸 集 . 
定义 1,3 及 中 有 限 个 点 x ,x ,… ,4 所 成 的 凸 包 HX,… ,Xi,1) 
称 为 凸 密 面体 ;如 果 2 Rl i 是 线性 独立 的 . 则 称 
下 Yi 是 以 交 ii 为 顶点 的 单纯 形 . 
二 维 情形 如 图 1 -3 所 示 . 


Ty 要 


出 名 面体 单纯 形 
图 1-3 
注意 到 在 R" 中 线性 独立 的 向 量 的 最 大 个 数 为 5, 因此 ,在 R" 中 不 存 
在 儿 于 n+1 个 顶点 的 单纯 形 . 
定义 1.4 非 空 集合 35CR" 称 为 凸 锥 , 若 对 于 任意 xz 所 5 和 尾 意 
实数 上 关 0 ,30 ,使 连 线 
ax + BX, ES. 
于 御 介 绍 凸 集 或 与 凸 集 有 关 的 几 个 重要 性 质 : 
定理 1.1( 线 性 性 质 ) 设 3 3: 为 止 集 ,a 为 一 定数 , 则 如 下 集合 
aS! = ly|y = oaxr,x € S$}; 
S, + 3 = | 这 | 二 = x + Xx, ,Tr ES, ,x EE 9,1; 
S,Ms, = {x|xEeSs,xEe Ss,| 
均 为 凸 集 ( 读 者 容易 验证 该 线性 性 质 ). 
定理 1.2( 投 影 定理 ) 设 3 为 非 空 , 闭 集 ,y。 
吴 5, 则 有 xo。E5S 使 
xo -yo = infl|x -oll 力 


《如 于 1 一 4). 图 1 -4 
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证 证 为 有 限 点 集 , 定 理 显然 成 立 . 若 5 为 无 限 点 集 ,由 正确 界 定 
党 ,对 于 k=1,2,…, 有 


5 有 1 
inf Hx -yo a x- pol ainf|x -yl + 
二 = 


了 
| 页 Fx = x +o x + | y, | 
. 1 
sinf|* -yl tt yl <inflx -yl +1+ 
| yo | Cc, 
故 1x,1 有 界 , 必 存 在 子 序列 1x, | 使 
limx,, = 


由 5 闭 , 于 是 x。E S. 又 由 


ntl poh < pl if -ol + 
令 扣 一 m 有 
if 有 lx -yl < xo -yl <inflxr-yl, 
所 以 lz -yo = inflz yol. 


定理 1.3( 分 离 平 面 定理 ) 设 $ 非 空 , 且 为 闭 凸 集 ,mm 兵 3$, 则 存在 非 
零 向 量 P 及 常数 4, 使 对 任意 x E 5 都 有 Pp x>q,p yo<a.( 如 图 1 -5) 


了 
px-q 
Fo 
图 1 -5 
证 由 定理 1,2 知 , 存 在 x。&€ 3 使 
jxo -ml = inflx-yl >0, 


由 $ 为 凸 集 ,对 任 给 4 E40,1) 上 总 有 
AT + {1 -A)xX, ES, xES, 


故 | Ax tl- Ax -yl |x -yol, 
即 Ax + (ll -A)x -yl |x -yl , 
而 [ax + (tl —- Ax -yo = ACxr -x) + xo -yp) 1 


=A |x- x) +2ACx, — yo) 


(x 一 Fo) + | x -yo 1， 
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因此 A x x) +2ACxo - po) (x -ro) > 0, 
即 ANx— x +2Ctxo -yo) (xX -Xo) 2 0, 


因为 A 所 0,1), 取 A 充分 小 ,总 有 
2(x0 — yo) (x — Xo) 宇 0， 


即 (xo -yo)' (x -xo) 0, 
令 P=x -yo = pr, 
由 有 px ao, 
这 a -pyo = px -py 

=p (xo -yo) 


= (Xo -Jo) (xo — yo) 
| zx。 -ol >0, 
所 以 py < a. 
定理 1, 4(Farkas 引 理 ) 设 A4 为 给 定 的 mxn 实 答 阵 ,ER , 则 
ATy =b,y 宇 0 有 解 的 充 要 条 件 是 存在 向 量 x* 使 


Ax 宇 0, bx 人 0 


同时 满 昨 . 
证 必要 性 设 有 ?了 z0 使 47y =5, 则 对 一 切 满足 AX 宕 0 的 回 量 
,有 
(Ax)'y 之 0, 
即 raA'y>0, 
从 而 xbh 人 人. 


充分 性 设 5=14717z=0|, 易 证 $ 为 团 凸 集 . 现 证 明 , 若 Ax 关 0， 
pTx 祈 0 同时 成 立 , 则 47 =,730 有 解 . 事实 上 ,只 需 证 明王 E 3 

用 反 证 法 , 设 5 丘 5, 由 定理 1.3 可 知 , 必 存 在 非 零 向 量 P 及 常数 人， 
使 对 任意 FE 5 都 有 


po >a>pb, (1-1) 
易 见 0 ES, 因 而 有 p'b<0. 
玉 而 将 证 明 , 对 任意 了 E 5, 又 有 pF 之 0. (1 -2) 
用 反 证 法 . 事实 上 ,车 存在 3E 5 使 py3<0. 因为 对 任意 > 人 0, 总 有 
jy E 5, 特别 取 
E> pb > 0) 
py 
时 , 则 得 到 


p(kRy) <p'b, (1 -3) 
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p20> pb. 


和 一 "1 -ie 站 
着 取 y = 0, = (0 .0107.0)", 
显然 ,此 时 y 产 0. 记 

妆 | 

| i 

a 

由 (1 -2;} 式 务必 有 
pa, 这 0 ,2 = 1,2,",n, 

或 aip > 人 0, 1 .2 
即 Ap = 0. 


但 由 于 p<0, 肥 时 =p, 这 便 导 致 与 充分 性 俱 设 相 巴 盾 , 故 必 有 EE 5， 
即 存在 y 满足 4 了 = 二 ,了 Z 人 0 
定理 二 5{ 择 一 定理 ) 设 抵 阵 4 :了 ., 刚 4r>0,.8xrz0 不 同 解 
的 充 要 条 忻 蚌 存 在 WS R",vE R (Wu 之 0,v 之 0, 且 丰 关 0) 使 
A'u+B'wv=0, 
证 ”显然 ,47 >0,Bxr3z0 等 价 于 4xrz(ay…:a) ER",a>0, 


及 文 演 作 . 
记 [= (1.…,1)》 ER”, 
令 4 = 匡 J].5- (0 0, 1) ER"", 
易 证 A 主 al,a > 0,Br 之 等 价 于 (xT,a)4 六 0 (x ,ay 再 < 0. 
x 一 T[ 下 
即 4| |]>=> %， 5 [< 
由 Farkas 引 理 ,上 式 不 同 解 的 充 要 条 件 是 
存在 » = [了 > 0， 
使 A'[*] = 3,7e Rn .了 所 Rr, 
Uv 
T Ba’ 一 
即 [ - 网 | 四 到 人 
, A'T+B'v=0, 
名 旬 | -1 
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由 -Pa= -1 得 
3 =1， 起 30 
f=1 
基 nO 有 Hu 人 0, 
故 得 A +B'v-= 0， 


uO,v 人 0rd. 
综 上 有 44x >0,Br 之 0 不 同 解 的 充 要 条 忻 是 存在 u,v 使 
A'n+Bv=0 (Hy>0,v0, 有 Hw 0), 
定理 1.4 和 定理 1.5 是 第 12 章 中 研究 约 东 极 值 最 优 性 条 件 的 基础 ， 


1.2 极 值 (一 般 男 数 ) 的 最 优 性 条 人 忻 


甘于 一 元 函数 极 值 的 概念 在 微 积 分 中 已 有 叙述 ,本 节 针 对 多 元 函数 
的 情形 给 出 各 类 极 小 点 的 定义 及 局 部 极 小 点 的 判定 条 件 (最 优 性 条 件 ). 


1.2.1 多 元 函数 极 值 李 念 


定义 1.$ 对 于 任意 给 定 的 实数 8>0, 满 足 不 等 式 |xz-zll<s 的 
x 的 集合 称 为 点 za 的 邻 域 , 记 为 N(x6,5) = 1x| x-xoll < 人 
定义 LL6 设 f15CR" >R', 若 存在 一 个 数 86>0, 对 Vx E N(x" ,5) 
m5 都 有 
fxr) A), 
则 称 x" 为 记 x) 的 局 部 极 小 点 . 
车 对 Yx ENz ,6) mS, 但 xx "有 六 x <fx), 则 称 x “为 八 x) 
的 严格 局 部 极 小 点 ， 
定 妇 17 设 户 SCR" 一 及 ' ,车 对 YzrES 都 有 
Ar') Ar), 
则 区 x 为 扎 z 在 3 上 的 全 局 极 小 点 - 
车 对 Yx E 5S, 但 xx 有 存 扰 z )< 大 rz)， 则 称 z 为 天 2) 在 3 上 的 严 
格 全 局 极 小 点 . 
由 以 上 定义 看 到 ,x ' 是 局 部 极 小 点 ,是 指 在 邻 域 N(x ,人 中 所 2 在 
x" 取得 最 小 的 值 ;而 x*' 是 全 局 极 小 点 ,是 指 在 定义 域 5 中 A(x) 在 x* 取 
得 最 小 值 . 全 局 极 小 点 可 能 在 某 个 局 部 极 小 点 处 取得 ,也 可 能 在 3 的 边界 
上 取得 . 
完全 类 似 地 可 以 定义 应 数 局 部 极 太 点 和 全 局 极 太 点 . 
还 应 该 注意 到 ,并 非 每 一 个 实 值 函数 都 有 极 值 ,例如 定 头 在 R* 上 的 
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非 零 线 性 函数 就 没有 极 值 . 因此 ,还 需 进一步 判断 护 z) 在 3 上 是 否 存 在 
极 值 的 问题 ,如 果 存 在 ,又 如 和 何 判别 是 极 小 值 还 是 极 大 值 , 


1.2.2 梯度 与 Hesse 矩阵 


首先 引入 包 元 函数 可 微 的 概念 ,在 此 基础 上 形成 的 函数 梯度 上 友 Hes- 
se 矩阵 的 概念 是 研究 局 部 极 值 点 的 重要 工具 ， 
定 久 18 设 关 SCR" 一 R' ,x。E 5, 称 Ax) 在 x。 处 可 微 , 若 存在 向 
量 1 ER" ,对 于 任意 的 PE R", 使 
xo +p) -N(xo) 一 rp 
im 
letl— lp 


=0 (1 —4) 
成 立 ， 
易 看 出 ,(1 -4) 式 等 价 于 关系 式 
flxo +B) = fxo) + rp +o(lpl), (1 —5) 
因此 ,我们 称 关 于 的 线性 函数 Tp 为 函数 增 量 天 xzo +P) -天 to) 的 线性 
主 部 , 即 Kxy 在 xz 处 微分 . 下面 的 定理 给 出 (1 -4) 式 中 工 的 表示 式 . 
定理 1.6 车 产 z) 在 xn 处 可 微 , 则 扎 z) 在 该 点 存在 关于 自 变 量 的 一 


阶 偏 导 数 , 且 有 
1 (0), ee)), 0 -6) 
ax ” ” 8 上， 
证 今 
Te (hl 
且 分 别 取 


p= Pei 二 1, 之 
其 中 pp, 为 非 零 实数 ,e; = (0,…,0,1,0,…,0) "由 于 f(x) 在 xo 处 可 微 , 则 
由 (1 -$5) 式 得 : 
成 + Pe) -foxo) = Lp, + ol hpl), i= 1,2,.,n. 
两 边 除 以 p,, 并 取 了 .一 0 的 极限 ,得 到 


.Aro + Pe.) -Xo) _ 
im 一 一 一 一 一 = 


1 [i= 1,2 ,m,n. 


pd pp, 
据 偏 导 煞 的 定义 ,有 
1 = EE Wo 
定 关 1.9 以 f(x) 的 n 个 偏 导数 为 分 量 的 n 维 向 量 称 为 太 x) 在 x 处 
的 梯度 , 记 为 
TE 


梯度 也 可 型 称 为 记 *) 关 于 向 量 * 的 一 阶 导 数 , 常 记 为 Erad f(r). 
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如 果 太 x) 在 x 处 可 和 定 , 由 (1 -5) 式 及 (1 -56) 式 得 到 
foxo +p) = f(x0) + V(xo)'p +ot ph), (1 -8) 
这 个 公式 即 为 展开 到 两 项 的 密 元 恩 数 的 Taylor 公式 . 
以 下 几 个 特殊 类 型 陌 数 的 梯度 公式 是 常用 的 . 
1. 车 六 Xx) =ct 常数 ), 则 YY 站 x) =10. 
2. V(bE'x) = 下 
证 设 B=(B By B={x ,Ts ， 


刚 b'x 二 yi 
于 是 让 (oz) 王 下 Dbx) eg 
所 以 vb'ry = 由. 


3. Vixix) =27x. 


4,， 设 4 为 对 称 方 阵 , 则 
Vx AxY = 24Ax. 


Da 
i=1 
| , 二 村 
证 XA = (x1 a) 名 |= 六 Dy dvs 
, =1 J=1 
DS a, 
了 = 
站 T _ - 2 a 
于 是 人 YY) = 2 2 的 1 i 


所 以 。 (rrhr) = 2( 守 aw , 衬 am, 空 ss) 24 
综合 上 述 公式 ,对 于 二 次 函数 
flxy = "Ax — bx+i+c, 


我 们 有 V Frz) = vV (TxAx -Brx yoj= hr -$b, 
其 中 不 = (4,),.. 为 实 对 称 阵 ,5 E R",x E R",e 为 常数 . 

如 前 所 述 , 樟 度 玉 扩 x) 是 Fx) 关 于 x 的 一 阶 导数 ,现在 间 :fx) 关 于 
x 的 二 阶 导数 是 什么 ? 

首先 考虑 向 量 值 函数 及 其 导数 . 

向 量 值 函 数 f;5CR"R"(m >1) 的 具体 形式 为 
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Fr) = hx) (zz)) 
其 中 f(x) 为 给 定 在 SCR 一 R 上 的 实 值 函 数 . 
对 于 向 量 值 函数 的 可 微 性 ,我 们 引入 以 下 定义 . 
定义 1.10 称 向 量 值 函数 1 让 SCR" Rm" 在 x。E 5 点 可 微 ,如 果 
x) 的 所 有 分 量 上 (Cx) (=1 2 :1) 在 ao 点 可 向, 即 成 立 
flxo +p) -f(x0) - VY flxo)'p a CL 
Hpl 0 | 


由 于 向 量 的 极限 是 通过 它 的 所 有 分 量 的 极限 定义 的 ,所 以 (1 -9) 式 等 价 于 
本 Flxo + PP) -Axo) - DA(xo)p 


ms jp = {1 -10) 
其 中 
Af (xo) a (xo)} a df (Xo} 
EE Ox, Bx, 
Wx) ro) ee dM CXo ) 
DA(xo) = dl Bx ax， |, {1-11) 
xo) Flxo) fro) 
日 Xi BE x 
矩阵 DCx,) 称 为 向 量 值 耳 数 六 x*) 在 xo 处 的 导数 ,也 称 为 太 x) 在 xo 处 的 
Jacobi 矩阵 . 


应 注意 到 ,尽管 (1 -10} 和 (1 一 4) 的 定 关 形式 相似 ,然而 ,向 量 值 丞 
数 的 导数 D(xo) 已 不 再 是 向 量 了 ,而 是 由 (1 -11) 定 尺 的 mxn 阶 答 阵 . 
现在 我 们 利用 窗 元 函数 及 向 量 值 函数 的 一 防 导 数 来 定义 窗 元 函数 的 
二 阶 导 数 . 
设 f:SCR"—R 于 3 上 可 微 , 比 时 所 好 的 一 阶 导 数 定 义 了 一 个 向 量 
皮革 df x 
Vx) = | . 
若 令 CX) = 他 FX), 则 8:56C5CR" 一 R" 为 n 维 的 向 量 值 函 数 . 如 
果 g(x) 于 5S6CS 上 可 微 , 则 放 x) 于 5。C3 上 两 次 可 微 ,上 且 Dg (lx) 就 是 多 
元 函数 所 x) 的 二 阶 导 数 , 即 


fr) FE f(x) 
Bx Ox, A Ox. 9X) 
fx) PAK)Y az) 


Dae(x) = | x9x, Ax3 ax ,9xy | ， (1 -12) 


af(x) Ff(x) of(x) 


Ox Or, X06x. ax: 
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故 多 元 阔 数 路 2 的 二 阶 导数 为 二 xa 阶 矩阵 : 常 称 矩 阵 (1 -12) 为 (x) 
的 Hesse 类 阵 , 记 为 | 
H(x) = De(x) = V(r), 
它 是 一 元 函数 的 二 阶 导 数 在 多 元 情形 下 的 推广 . 
综 上 所 述 , 客 元 函数 大 xz) 的 一 阶 导 数 是 它 的 梯度 Y 六 x) ,二 阶 导数 
是 它 的 Hesse 矩阵 Y F(xz) ,在 最 优化 方法 的 讨论 中 这 是 两 个 常用 的 
概念 . 
在 微 积 分 中 已 又 证 明 过 ,当天 zx) 的 所 有 二 阶 偏 导数 连续 时 ,有 
of(x) 上 aftx) 
Ox Or, dx, Ox, 
此 时 ,f(x) 的 Hesse 矩阵 是 对 称 矩阵 . 
类 似 于 一 元 阔 数 的 情形 ,利用 函数 的 梯度 4 一 阶 导 数 ) 及 Hesse 和 矩阵 
《二 阶 导数 ) 可 以 表达 窗 元 阔 数 的 Taylor 展开 式 . 
定理 1.7 设 f:SCR" 一 R' 在 开 球 
SS = ir| lx-x) <8,5>0| CS 
上 可 微 , 则 对 满足 P| <5 的 p 成 立 
Fxo +p) = f(xo) + V Ar)'p (1 -13) 
其 中 =xX0 +ép,£ EE (0,1). 
证 引 人 阔 数 中 (2 了) =xo0 + 雪 )， 
于 是 (0) =A(xo) ,$b(1) =Axo +p), 
由 x*) 的 可 微 性 容易 证 得 ,对 给 定 的 PpP 6 so: 由 (与 是 [0,1] 上 的 可 微 菌 
数 , 且 有 


5 二 1 ,过 下。 


由 (fi = VY f(x, + tp)'p, 

对 任意 1 Se[0,1]j 由 一 维 中 值 定理 知 , 存 在 E (0,1) ,成 立 (1) -中 (0) 
三 中 (££) , 即 

flxo + Pp) = fxo) + V fro + ép) Pp = f(x0) + WV fF)P. 

式 (1 -13) 还 可 写成 

Fixo +p) = fxo) + VHxo) p+ollpl). (1-14) 

其 中 of Ip 有) = patxo,p). 当 pH 一 虽 时 ,atxo,pP) 一 0, 请 读者 自 证 . 

定理 1.8 设 f;:SCR" 一 R' 在 开 球 

SS = xl Irz-xl <6,6>0lCS 


上 二 次 可 微 , 则 对 满足 上 Pp <5 的 p 成 立 


fxo +p) = fro) + Vfxo) p+ 3 A(Fp, (1 -15) 
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一 


其 中 H(X) = VX) ,x =xo+ép, 而 £€ E (0,1). 
证 令 申 (1) =f(xo。+ 坊 ) ,由 定理 假定 ,g(t) 在 [0,1] 上 二 次 可 微 ， 
并 有 
b(t) = Vixo + tp)'p, {1 — 16) 
b(t) = p Hixo + ip)Pp, (1 -17) 
按 一 元 函数 Taylor 展开 定理 把 中 () 在 1=0 点 展开 ,得 到 : 


bl1) = $0) + (Ot + (EF, 
fro tp) = fr) + Vxo) p+ FP" Hxo + 人) 有 
令 1=1, 得 


Kx +p) = fxo) + V fro) Tp + Fp" H(r, + tp)p 


= fxo) + V fra) p + pH(E)p. 


{1 -15) 式 还 写成 
fixo + PY = f(xo) + Viixo) pp + FP"'H(xo)P + eof pl ), 
(1 -18) 
其 中 oC hp = lpia(xo,p), 当 pl 一 0 时 ,a(xo,P) 一 0, 请 读者 
自 证 ， 


1.2.3 局 部 极 值 的 最 忧 性 条 件 


定 广 二 了 (下 降 方向 ) 设 f:SCR" 一 R 在 点 诗 ES 处 可 徽 ,PE R" 
是 已 知 的 非 零 向 量 ,如 果 
vi p<0, (1 -19) 
则 称 p 是 上 及 x) 在 至 处 的 下 降 方 向 . 
为 了 图 示 下 降 方 向 ,我 们 以 二 维 情形 为 例 . 


设 zx) =Fxiixs) 在 人 =(2 2) 处 的 等 值 线 ( 图 1 -6) 为 
六 的 


fe 7 鸭 
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Hx) = 
按 和 证 义 , 若 吕 为 下 降 方 向 , 则 
VilR) p= | VA x lpleoso <o, 


玫 68> 也 , 即 下 降 方向 p 是 靠 向 - Y 灰 训 ) 一 便 的 ， 


由 定义 1.11 可 以 直接 验证 如 下 事实 :p= -VY Ax) 及 p= -A4 Vf(x) 
《4 为 正定 矩阵) 都 是 所 x) 在 x 处 的 下 降 方 向 . 

对 于 负 梯 度 方向 p= -fx), 它 不 仅 是 下 降 方 向 ,而 县 是 最 速 下 降 
方向 , 据 广 向 导数 的 定 久 , 设 Y x) #0, 有 


ED =- Yaz)re = | vfs) eos V Ax) se). 


为 使 号 半 取 得 最 小 值 ,只 须 令 (Y Ax),e) = (YA(z),p) =180*(e 是 


方向 上 的 单位 向 量 ), 即 取 p= 一 Vx). 因此 ,f(x) 在 x 外 的 负 梯 度 方 向 
就 是 人 x) 在 x 灶 的 最 速 下 降 方 向 . 
下 面 进 一 步 讨 论 下 隆 方 向 的 性 质 . 
定理 1.9 设 疡 SCR" 一 及 在 于 5 外 可 微 ,p 为 f(x) 在 处 的 下 
降 方 向 , 则 存在 >0, 使 得 对 YA Ee (0,8) 有 
+ AP) < AE). (1 -20) 
证 由 于 不 x) 在 音 处 可 微 , 据 定理 1.7 中 的 (1 -14}) 式 可 得 
FE+Ap) = FA) +AVAR) DP +ANPa(t,Ap), 
其 中 当 A 一 0 时 ,a(z,Ap) 一 0, 由 上 式 林 得 


A A = VAS p+ pl oa(t,Ap), 


由 于 Y A) pp <0. 而 a(,Ap) 一 0{A 一 0), 故 存在 一 个 8, 当 A 和 E(0,6) 
时 ,上 式 右 端 小 于 零 , 从 而 证 明了 (1 -20) 成 立 . 

定理 1.9 表明 ,从 到 出 发 , 当 * 灌 下 降 方 向 p 移动 时 ,f(x) 的 值 在 减 
小 ,但 并 非 无 限制 地 减 小 ,而 只 是 当 x 在 立 的 邻近 时 ,才能 保证 扎 z) 的 值 
减 小 ,这 说 明 函 数 下 降 的 局 部 性 质 . 

定理 1.10 设 (1) 车 f(x) 在 x' 处 可 微 , 且 x 为 记 x) 的 局 部 极 小 , 则 

vflx’) =0; (1 ~- 21) 

(2) 车 f(x) 在 x 娃 二 次 可 微 ,县 x' 为 fx) 的 局 部 极 小 , 则 Hesse 矩 
阵 Hlx” ) 半 正定 . 

证 {1) 设 VY f(x *)x0; 令 p= -Vf(x') 则 VY f(x )'p = 
- 玫 交 站 xz) 1 <0, 即 p 为/(x) 在 x" 外 的 下 降 方 向 ,由 (1 -20? 得 

Rr + Ap) < AX), YA EC(O,S), 
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这 与 “是 丸 z) 的 局 部 极 小 点 相 矛 盾 , 故 
Vflx*) = 0 
(2) 考虑 任意 非 零 向 量 p, 由 A(x) 在 x' 处 二 次 可 微 , 按 式 (1 -18) 有 
Hz + Ap) sfx ) HAVIE) p+ FAPHE )p+ 


A pl atx’ ,Ap), 
其 中 当 4 一 0 时 ,a(x' ,Ap) 一 "0, 因为 +" 有 是 局 部 极 小 点 , 故 
Vs ) =0, 
于 是 上 式 可 化 为 
A +A) A pix p+ pl els ,Ap). 
竟 国 为 是 局 部 极 小 , 故 对 充分 小 的 A 
Nx +Ap) AX" ), 
由 上 式 可 知 ,对 充分 小 的 上 有 


] 四 
FP Hx’)p+ lpl’a(x’ ,Ap) > 0, 


邻 和 A 一 0 得 知 pH(x' )p 0, 
因此 ,H(tx”) 是 半 正 定 的 . 
条 件 41 -217) 权 仅 是 必要 的 ,而 不 是 充分 的 . 例如 六 x ,x2) =%ixs 在 点 


如 
x”= (0,0)7 处 的 梯度 是 VY /(0,0) = [ol: 但 是 点 


x 是 双 曲 而 的 鞍点 ,而 不 是 极 小 点 (图 1 -7). 

今后 ,我 们 将 满足 (1 -21) 的 点 统称 为 稳定 
点 或 驻 点 , 在 比较 简单 的 情况 下 ,为 了 求 得 函 煞 
的 极 小 点 ,可 先 通过 (1 -21) 将 所 有 的 稳定 点 求 图 1-7 
出 来 ,然后 进一步 羯 断 其 中 哪些 是 极 消 点 ,然而 在 一 般 情 部 下 ,上 述 作 法 
是 很 难 实 现 的 . 因此 有 必要 引 人 人 判断 极 小 点 的 充分 条 件 . 

定理 1.11( 充 分 最 优 性 条 件 ) 设 f:5SCR 一 R' ,在 *” ES 处 二 次 连续 
可 徽 ,如 果 V ARzF ) =0 日 HCx" ) 正 定 , 则 x "是 六 x) 的 严格 局 部 极 小 点 . 

证 欲 证 存在 x 的 一 个 邻 域 N(x ,8)C5, 使 得 Yx EE N(x ,5)， 
但 xz 关 x 都 有 


Ax) > f(x ). 
现 令 x =x” + 要 , 其 中 为 单位 癌 量 . 引信 辅助 蜡 数 
Ppl) = Ax +)， 
在 1=0 点 展开 成 Taylor 表达 式 
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b(t) = 由 (0) + (C0) + FH"(0F, (1 - 22) 


其 中 0<8<1. 由 假设 

Pp'(0) = YAz p=0, 
因此 (1 -22) 变 成 

$1) -由 (0) = F900) 7 (1 - 23) 

肯 由 假设 
由 "(0) = BT YE)P = Pp H(r' )p >0， 
又 根据 p"(z) 的 连续 性 ,存在 >0, 对 一 切 8 Ee (0,1) 和 满足 1t| <s 的 
成 立 
"C0 > 0. (1 - 24) 
联 立 (1 -23) (1 -24} 立 刻 得 结论 
f(x) > fx’). 


1.3 凸 二 数 及 凸 消 数 极 值 的 最 优 性 条 件 


凸 函 数 有 许多 重要 的 性 质 , 例 如 , 凸 函 数 在 凸 集 内 部 上 的 任何 局 部 极 
小 也 是 整体 极 小 . 下 面 就 给 出 凸 函数 的 概念 及 判定 ,并 阐述 凸 函 数 的 某 些 
性 质 , 进 而 给 出 凸 函 数 的 最 优 性 条 件 . 


1.3.1 凸 画 数 的 定 兴 及 判定 


定义 12 设 广 SCR ->R',S 是 一 个 凸 集 . 若 对 Yxtra E 5,A 七 
(0,1) ,有 /Axi 二 (1 一 和)x) 所 AF(T1) + (1 一 Fxs) , 则 称 玉 x) 是 5 上 
的 是 函数. 若 上 式 中 不 等 导 严格 成 立 , 则 称 大 xz 是 严格 凸 枉 数 . 

凸 函 数 的 几何 意义 :对 于 一 元 函数 Y=.A(x} 的 情形 ,如 图 1 -8 所 示 : 
了 


x =Ari +fl-Ayzz AECO,1) 
辆 函 教 拟 目 函数 
图 1 一 8 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


第 1 章 ”基础 知识 1s 


定 久 1.13( 上 图 ,下 图 ) 设 $ 是 一 瑞 集 , 且 非 空 ,a 为 任意 实数 ,让 
SC 及 "一 及 ' ,对 及" 中 的 集合 : 
epif = itr,a) |x ESAX) se 称 为 所 rz) 的 上 图 ， 
hyp/ = |(x,m) 1x ES,f(x) > al 称 为 记 x) 的 下 图 . 
土 图 .下 图 的 几何 意义 :对 于 一 元 函数 /:SCR" 一 R'(5 为 应 函数 ) 的 
情形 ,如 图 1 -9 所 示 : 


~ 


了 (二 


NS < ER NS 


心 ~ et 


-A 


上 


图 1-9 

判定 一 个 隧 数 是 否 为 应 函数 ,可 以 直接 利用 定 儿 1.12, 也 可 以 利用 
下 面 介 绍 的 儿 个 定理 (定理 1.12 一 定理 1.15). 

定理 1.12 设 SCR" 为 四 集 ,f:5 一 R , 则 扩 x) 是 5$ 上 的 晤 函数 的 充 
分 必要 条 件 是 epif 是 上 应 集 - 

证 必要 性 对 YCx, a) xzsazE pif, 有 

xXx ESHARY) Ga, Hi) a 

从 而 对 YA EE (0,1) ,由 5 的 丙 性 知 ,AxX, + (1 -A)x, 全 5， 


再 由 六 x) 是 5 上 的 凸 函 数 , 有 
Fax + Cl -Ar) SE AFCEY) + LE 一 和 FE) SE Am + (1 - A)o,, 
区 ACXIs01) + (1 -A)CX,,,) 


= CAXI + (1 ~ A)xisAa + (tl —- A)o,), 

故 AhAfzi:a]) + (1 -A}tx so) Eepif (对 YA EDO,1)), 
即 epi 了 是 凸 集 . 

充分 性 对 YX ,Xs ES3AEIOL) ,由 3 的 凸 性 知 .Az + (1 一 A}x，, 
= 
又 epi = lt(x,a) |x E Sf(x) < ol, 
故 《xi fr) Ca Fx) ) E epif. 

.由 tpi 是 证 集 , 知 

ACHR fx) + Ol — AICE2 FYE)) 

= (Axi + 1 — ARAKI) + tl — AFAx)) E epih, 

从 而 FAEI + Cl AIT) EARNT) + (1 - AA x,), 
故 大 xz) 是 38 上 的 瑟 画 数 ， 
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定理 113 设 5CR" 为 凸 集 ,/SCR" 一 R: 在 内 部 连续 可 币 . 则 
无 z) 是 内 部 上 的 凸 函 数 的 充分 必要 条 件 是 对 yz,r E int S, 有 .Jr)》 = 
FE) + VHF) (x x). 

证 必要 性 ”由 题 设 ,对 一 切 X,x E int $5,A E (0,1) 
有 fAr + (1 -MF) Ax) + (1 - ANE), 


于 是 EAE EI -AE fx) -f(D), 


亦 即 VAX) (x -TD) +ANr -lalr,Ar -x)) < Ar) - AY), 
上 趟 中 , 令 4 一 0, 则 有 Vv AX) (x -xr) eAx) -HAF), 
即 Hx) fx) + VARX) (x -¥). 
充分 性 设 对 YF.r E int 5,Ax) 之 作 XxX) + VAT) (x ~*) 成 立 . 
邻 5=AXT+ (1 一 和)x,A 所 fC,1), 则 有 
HX) f(s) + VAz) (x -7), 
Ar) > fr) + VAz) (x -2), 
于 是 AF(X) + (1 - Af(x) fr) + YH) (AT ~ (1 -A)xr -2z) 
= fr) = fAK + (1 -Ax). 
由 定 祥 1.10 知 ,A(x) 是 int $ 上 的 十 函数 ， 
定理 1. 13 的 几何 特征 如 图 1 -10 所 示 : 


f(D 


fH VI ED 


x 


图 1-10 

定理 1,14 设 5C 了 "为 凸 集 ,SCR 一 R 在 int $ 二 次 连续 可 微 . 
则 Lx) 是 int gs 上 的 凸 函 数 的 必要 充分 条 件 是 对 YY E int 5, V(x) 
兰 0. 


证 因 六 SS 一 R 在 int 5 二 次 连续 可 微 , 故 对 YX,x E int 3, 有 
Ax) = HE) + WAT -EF) + -FE)" VHAF + E(x -Dr 一 天 


‘其 中 E00,1)) (1 - 25) 
必要 性 【 反 证 法 ) 若 存在 天 E int 5, 使 得 VA(X) <0, 即 对 x E int 5， 
下 关于 ,总 有 
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(x 一 二) H(X)(xX -XxX) <0 (H(x) = YA/(x)), 
由 吾 (z) 的 连续 性 ,总 可 找到 工人 int $5,xx, 使 得 
(x -ET VFR + Ex -Ix < 0 
由 (1 -25) 式 ,可 得 fx) <f(x) + Vf/(x) (x -x), 
这 与 所 x) 为 int S$ 上 的 唔 函数 相 也 盾 {由 定理 1. 13). 
充分 性 对 YX,x EintsEsEt0,l) ,由 定义 1.10 
Ex + Cl -EK = +e -kX) 个 int 六， 
由 题 设 , VX+ECx -XX)) 安 0 代入 (1 -25) 式 ,就 有 
Fx) fF) + VAOF) (x — E), 
由 定理 1.13 知 记 XY) 为 int 3 上 的 吗 畏 数 , 
从 充分 性 的 证 明 过 程 可 以 看 出 , 若 Y (x) 对 一 切 x E int 5 都 是 正 
定 的 , 则 f(z) 在 5 的 内 部 严格 凸 , 但 反 过 来 不 一 定 成 立 . 


1.3.2 凸 孙 数 的 次 梯度 


下 面 我 们 引进 凸 函 数 的 次 梯度 ,并 阐明 在 凸 集 内 部 , 凸 函 数 与 次 梯 座 
的 美 系 (定理 1.15) 以 及 次 梯度 在 可 徽 条 件 下 的 存在 唯一 性 (定理 
1,.16). 

定义 1,14 设 3CR"', 非 空 凸 ,f:5 一 R 是 3 上 的 凸 函 数 , 若 38 E 
R" ,局 得 A 作 x) 庆 A(X) +g (对 YxES 均 成 立 , 则 称 四 是 八 x) 在 二 
处 的 次 梯度 . 

次 梯度 的 几何 解释 在 一 维 情形 下 ,如 图 1 -11 所 示 : 


yf a1 CD 
» 


J HgTe 如 
图 1-11 

定理 1.15 设 $5 是 R" 上 的 凸 集 ,f:5 一 RR， 

(1) 车 f(x) 是 5 上 的 王 函 数 , 则 对 YX ints, 存 在 在 f 处 的 次 梯 
度 , 即 /x) 守 人 (XT) + (xX -XX) 对 YX EE 3 拘 成 立 ; 

(2) 车 对 YEE intS,38 ER"', 使 得 f(x) >/(X) +8 (x -x) 对 YXx 
E 5 拘 成 立 ;, 则 所 x) 是 int 5 土 的 此 函 数 ; 

(3) x) 是 int 5 上 的 凸 函 数 的 必要 充分 条 件 是 对 YXx E int 5, 存 在 
次 梯度 g ES 及" ,满足 / 作 xz) 守 A 作 X) + (Xx 一 让 ) ,对 YES3 均 成 立 . 
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证 (1) 四 定理 1.12,epif 是 凸 的 ,又 {x,fA(x)) 局 于 epi 的 边界 ， 
根据 凸 集 的 每 一 边界 上 有 一 支撑 超 平 面 知 ,存在 一 个 非 零 向 量 (go ,x) 后 
R* x 及 ' ,使 得 

golx 一 无) tuto - AF)) 0, (1 -26) 
对 一 切 (x,a) E epi 成 立 . 

显然 非 正 ,否则 通过 选取 a 充分 大 ,上 述 不 等 式 将 产生 矛盾 ,下 而 

我 们 进一步 证 明 
< oO. 

假定 <0 不 成 立 ,上 必 等 于 零 , 则 对 一 切 x 七 S, 有 go(x -xX) 么 0 

由 于 站 E int $, 存 在 一 个 A > 中 醒 得 +Ago 全 3 从 面 8 所 0 ,这 
就 意味 着 go。=0 和 (go = 0.0) ,这 与 (8 ,是 一 个 非 零 向 量 的 事实 


相 子 盾 ,因此 js <0. 用 | | 除 不 等 式 (1 -26) ,并 用 有 表示 ,就 得 到 


g(x-r) -oa+fr) 0, {1 27) 
对 一 切 (x ,a) 丘 epif 成立， 
特别 地 ,对 一 切 x E 5,tx,A(xX)) E epij, 在 (1 -27) 中 令 = 大 z)， 
就 得 到 Hr} Hr) +g (x— FX), 
亦 即 ,对 YY* 七 int 5, 存 在 在 * 处 的 次 梯度 .证明 完成 . 
(2) 设计 ,x 忆 int 5S,A 捷 (0,1) ,由 5 的 凸 性 , 易 知 int 5 是 凸 的 ,从 而 
有 Ax + (1 一 A)x; Eints 由 假定 /在 Xx + (1 -A)x, 存在 有 次 梯度 六 
特别 地 ,下 面 的 两 个 不 等 式 成 立 : 
fx) FOAN) + Cl — A)xs) + {1 -Ag (x — x2), 
Fx) HAT + (1 -AAG) + AB (xs — kL). 
用 A 和 (1 一) 分 别 萎 以 上 述 两 个 不 等 式 , 并 相 加 就 得 到 
AFCR) + (1 一 AR SAA + (1 -AX ), 
故 六 x*) 在 int $5 上 基 凸 的 . 
(3) 显然 和 (17 和 (21) 可 得 (3 
定理 1.16( 次 梯度 的 存在 唯一 人 性) 设 5CR" 为 凸 集 ,六 3 一 及 是 
凸 隙 数 ,有 是/(x) 在 Eint 5 可 微 , 刘 了 (x) 在 处 的 次 梯度 唯一 , 即 


为 8 A(X). 
证 设 g 是 A(x) 在 处 的 一 个 次 梯度 , 故 对 Yd 及 充分 小 的 入 > 
0, 有 
AFF + Ad) > A(x) + Ag'd, (1 -28) 
由 7 在 天 处 可 微 , 有 


FT+AG) = XI) +AYV HINAd+tol AGE)I，(L-29) 
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其 中 ,of Ad )=4 Dd atx,Ad) ,A 0 时 ,od0. 
(1 -28) 和 (1 -29) 和 三 ,得 
OA - VAI) A -Adaltx,Ad). 
因 A>0, 从 而 上 式 等 价 于 
(g- VAX))d- |adla(ltr,Ad) <o0, 
令 4 一 07 , 则 对 Yd,(g -YAX)) "ds0. 
特 取 d=g 一 站 f(x) , 则 有 | 上 8--Y fA(x) | 2 志 0, 显 然 ,该 不 等 式 成 立 
的 充分 必要 条 件 为 g = YXzx) ,从 而 xz) 在 工 处 的 次 梯度 唯一 , 且 为 
Vf). 


1.3.3 上 丁 范 数 的 最 优 性 条 件 


这 一 部 分 ,我 们 讨论 凸 函 数 在 凸 集 上 的 极 小 问题 ,给 出 其 局 部 极 小 与 
全 启 极 小 的 关系 ,进而 阐明 凸 函 数 的 全 局 最 优 性 条 件 - 
首先 ,我 们 给 出 局 部 极 小 点 与 全 局 极 小 点 的 关系 ， 
定理 站 17 设 SCR" 为 凸 集 , 产 S 一 及 ,假定 ES 是 A 作 x) 在 S 上 的 
一 个 局 部 极 小 点 ， 
(1) 如 果 f 是 凸 的 , 则 * 是 了 在 $ 上 的 全 局 极 小 点 ，; 
(2) 如 果 了 是 严格 凸 的 , 则 * 是 了 在 5 上 的 唯一 的 全 届 极 小 点 . 
证 首先 证 明 (1)， 
假定 了 是 凸 的 ,因为 到 是 一 个 局 部 极 小 点 , 则 在 工 附 近 存 在 一 个 e 邻 
域 wkz) ,使 得 
fx) A(X), (1 -30) 
对 YITE SN N(x) 成立， 
现 假定 三 不 是 全 局 极 小 点 ,因而 存在 站 E 3: 成 这 ) < 扎 开 ) ， 
由 了 的 凸 性 ,对 每 一 个 A E40,1) ,下 式 成 立 : 
FOAE TE -ANY SANE) + 【1 —- AFCX) < 二 
(1 ~ AIAX) = f(x), 
但 当 和 >0 且 充 分 小 时 ,Atz+(i-A)F E SNN,(x), 因 此 上 述 不 等 式 与 
(1 -30) 矛 盾 , 从 而 (1) 得 证 : 
(2) 现在 假定 了 是 严格 丁 的 ,因为 严格 同性 隐 含 同性 , 则 由 (1) 知 ,x 
是 f 存 S$ 上 的 全 局 极 小 点 . 由 反 证 法 ,假设 * 不 蚌 唯 一 的 全 局 极 小 点 , 则 
4x E 5S,xz¥x, 使 得 用 x) =/(x). 由 f 的 严格 内 性 ,就 有 


/lx+i) < Sr) + FF) = 大 下 


由 5 的 由 性 ,二 x + 二 E S, 于 是 上 述 不 等 式 违背 了 天 的 全 局 极 小 性 . 从 
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而 (2) 得 证 . 
下 面 , 我 们 研究 x 是 全 局 极 小 点 的 必要 充分 条 件 . 
定理 1.18 设 S5CR", 非 空 西 ,f:$-+R' 是 凸 函数 , 则 三 筷 3 为 了 的 整 
体 ( 即 全 局 ) 概 小 点 的 必要 充分 条 件 是 成 z) 在 二 处 存在 一 个 次 梯度 g ,使 
得 对 一 切 的 x E S,g' (x-*) 宕 0. 
证 充分 性 ”假定 对 一 切 的 x 5,g'(x -x¥)>0, 其 中 8g 是 A 作 x) 在 
区 处 的 次 梯度 ,由 了 的 凸 性 (定义 1.12), 有 (x) f(x) +g (xX -XX) 产 
f(x) ,对 Yx E 8, 因此 ,x 是 的 全 局 极 小 点 . 
必要 性 ”假定 XE 5 为 了 的 全 局 极 小 点 ,构造 4, ,A4, E 及 ”” ， 
其 中 : A1 =1((x-x¥),a) |x ER’,a>f(xr) -Ax)|, 
A = (TFT 一天) 0) |x ES,ae<O|, 
容易 验证 A4, 和 4, 都 是 西 集 . 面 且 A1nA, = 纪 , 因 为 否则 存在 一 点 (zx， 
a) , 司 得 
xES, Oo > Fx}) — A(x). 
这 与 地 是 了 的 全 局 极 小 点 相 耶 盾 , 从 而 存在 一 个 超 平 而 分 离 4! 和 
4; 亦 即 ,存在 一 个 非 堆 向量 (go , 闫 ) 和 一 个 数 甩 ,使 得 
gE -xX) +un<, xER,a > A(x) -F(x), (1 -31) 
gon +uaB, ES.a<u. (1 - 32)》 
如 果 在 (1 -32) 式 中 , 令 x= 和 a=0, 得 到 B<0, 在 (1 -31) 式 中 ， 
邻 玉 = 和 a =#>30, 得 到 je 所 B. 因为 对 每 一 个 B>0 这 都 成 立 . 因 面 
0H B00. 
概括 起 来 ,我 们 证 明了 jz<0 和 B=0. 下面 我 们 接着 证 明志 <0. 
假如 疡 =0, 则 由 (1 -31) 式 ,对 每 个 xS R’,golx 一 天) <<0, 若 令 = 
+go, 则 有 : 
Og{tx -x) = lgol’, 
因此 go =0, 面 (go yn) 关 (0.0) , 故 几 <0- 
用 -天 由 (1-31) 和 (1 -32) ,并 用 8& 表示 - 站, 就 得 出 下 面 的 不 
等 式 : 
rg {ro- 人 x), XER' ,oa > Fr -fT, (1 -33) 
glx-X)-a0, xXES,AaEO. (1 -34) 
在 (1 -33) 中 , 令 a=0, 得 到 对 一 切 的 x E 5,8 (x 区) 产 0 


峙 由 (1 -34) ,显然 有 f(x) 之/(X) +g (x -x) ,对 一 切 * ER”， 
所 以 g 是 /(x) 在 * 处 的 次 梯度 ,月 对 一 切 的 x E S,g ( 王 一 工 ) 关 0. 
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对 于 定理 1. 18, 我 们 有 如 下 两 个 有 用 的 推论 . 

推论 1.1 在 定理 1.18 的 假设 下 ,车 $5 是 开 的 , 则 * 是 了 的 全 局 极 小 
点 的 必要 充分 条 件 是 六 x) 在 x 处 存在 一 个 零 次 梯度 . 

证 由 定理 1.18,x 是 了 的 全 局 极 小 点 的 必要 充分 条 件 是 对 每 一 个 
+ 后 S, 有 g(x -xz) 守 0, 其 中 8 是 f(xr) 在 * 处 的 次 梯度 . 因为 9 是 开 的 ， 
则 存在 一 个 和 A>0, 使 得 -Ag ES 因而 -Ag 宕 0, 从 而 Hal <0， 
即 8 =0. 

推论 1.2 在 定理 1.18 的 假设 下 , 叉 假设 六 zx) 在 x 处 可 微 , 则 x 是 了 
的 全 局 极 小 点 的 必要 充分 条 件 是 对 一 切 的 xES, 有 YAX)'(x -x) 产 0. 
此 外 ,如 果 5S 是 开 的 ,x* 是 全 局 极 小 点 的 必要 充分 条 件 是 Y A(x) =0. 

证 ”由 定理 1.17.\ 定 理 1.18 及 定理 1. 18 的 推论 1 易 证 . 

定理 1. 18 及 其 推论 给 出 了 刻画 全 局 极 小 点 的 充 要 条 件 , 具 有 重要 的 
意义 . 下面 我 们 再 给 出 两 个 刻画 全 局 极 小 点 的 充分 条 件 . 

定理 1.19 设 3CR" 证 ,f:S—R' 在 int 5 为 连续 可 微 凸 函数 ,车 江 
int $S 汶 六 x 的 驻 点 , 即 玉 让 x") =0, 则 x 为 Xx) 在 int S$ 上 的 全 局 极 
让 点 . 

证 对 VYxE intS 且 x#x" ,由 定理 1.13, 有 

x) Sfx) rt VAX = 人) 

从 而 x 为 人 (x) 在 int 5$ 上 的 全 局 极 小 点 得 证 . 

此 定理 说 明了 连续 可 微 凸 消 数 的 驻 点 与 全 局 极 小 点 的 关系 ,下面 我 
们 利用 定理 1. 14 和 和 定理 1.19 ,导出 定理 1.20. 

定理 于 20 设 SC 及 " 为 凸 集 ,f:5_;R! 在 int 5 二 次 连续 可 微 , 若 x* E 
int 5 为 有 xX) 的 驻 点 , 且 对 WYx E int 3S, YAOX) >0, 则 x 为 x) 在 int$ 上 
的 全 局 极 小 点 . 

证 因 六 SR' 在 int 5 二 次 连续 可 微 , 晶 对 Yx E int 5,V fx) 之 
0, 由 定理 1.14, 因 A(X) 在 int 5 上 的 凸 硝 数 , 再 由 定理 1.19, 可 知 x 为 
疡 x) 在 int S$ 上 的 全 局 极 小 点 . 


1.4 拟 凸 函数 与 全 局 最 优 


定 交 11. 15 设 53CR", 非 宕 凸 ,f:5 一 R' ,如果 对 XL E 汪 ,， 瑟 
(0,1) ,有 CATI +fti-A)z smaxlFrzyrzr)l, 则 称 关 xz) 是 3 上 的 
氢 凸 函数 ; 荐 对 YX ,x ES 甩 扰 区》 天 扰 2) 有 天 十 《1 一生) 天 < 
max | x) A(x) | , 则 称 六 xX) 是 $5 上 的 严格 报 凸 靖 数 ;如 果 对 YX ,xX; 二 
S,AE(OI),H x x; 有 FAXN, + -Ax,) <marx|f(x) ,F(X,)|}, 则 
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称 六 x) 是 8S 上 的 强 拟 疝 西数 
显 热 , 非 空 凸 集 5 上 的 同 梢 数 是 拟 凸 函数 ,反之 , 则 不 成 立 . 
氢 贞 对 数 与 非 拟 凸 阔 数 在 一 维 情 形 下 ,如 图 1 -12 所 示 : 


把 凸 遂 狐 非 氢 山 消 数 


图 1-12 


前 面 ,我 们 学 习 了 凸 函 数 让 以 用 它 的 上 图 epi 了 的 古 性 来 刻画 . 类 似 
地 , 拟 凸 函数 可 以 用 它 的 水 平 集 5。 来 刻画 ,这 一 结果 我 们 在 定理 1.21 中 
给 出 . 

定理 1.21 设 5CR" 为 非 空 目 集 ,FS 一 R ,函数 了 是 拟 凸 的 必要 充 
分 条 件 是 5, = {x E SA seal 对 每 一 个 实数 “ 是 后 的 . 

证 必要 性 ”假定 是 拟 凸 的 ,并 设 * ,x, 5., 因 而 x,X， ES 目 
max F(X) FX) | ee 对 YA EC0.1 以 及 工 =Arit(l 一 Ar， 由 3 的 
油性 ,有 x ES. 而且 由 的 拟 凸 性 , 知 x*) 三 max x) CE) ,从 而 
六 7) 二 a, 故 x EE 5,., 于 是 5S。 是 凸 的 - 

充分 性 ”假定 $5. 对 每 个 a 是 凸 的 , 设 x*,,x， E 35., 并 设 A E(0,1) 
和 =Axi + (C1 一 和)x, 若 取 吕 =max| XL) X20)1, 当 ,Xi E $5,, 由 假 
定 5, 是 廿 的 ,得 知 * E 3。, 所 以 成 rz 所 a =max| 扩 x ) , 放 x;)| ,因此 ff 是 
拟 凸 的 ， 

下 面 我 们 黎 出 一 个 刻画 证 微 拟 廿 函数 特征 的 必要 充分 条 件 . 

定理 1.22 设 SCR" 为 非 空 凸 集 , 产 5 一 有 在 3 上 可 徽 , 则 了 是 拟 匡 
的 当 和 且 仅 当下 和 列 等 价 陈 述 中 任何 一 个 陈述 成 立 . 

(1) 车 x ,x SB Ax) SF) ,MY Fx ) (x -XE ) 0; 

(2) 车 如 E SHEV Fx) (x -x2) >0, 则 不 工 )》 > 所 和 

证 显然 陈述 (1) 和 (2) 基 等 价 的 , 故 只 需 证 明 / 拟 凸 当 且 仅 当 陈述 
《1) 成 立 , 设 f 是 所 出 的 ,并 设 zxa ES 使 得 痰 xi) 关 护 z), 由 了 在 x 刘 
微 知 ,对 YA Et0,1), 有 

OAK + CL -AIRY) — Hx) =A VHT) (x) -Xs) + 
AVX ~ x ox , ACT — x2)), 
其 中 (x ,A(X 一 了) 一 0, 当 A 一 0 时 ,由 下 的 氢 凸 性 ,我 们 丰 
FAxI + (1 ANX) f(r,), 
因此 ,上 述 不 等 式 列 泣 
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AVAx) (x — x2) + Ax -x | afz ,ACx, -x2)) 0, 
除 以 并 邻 4 一 0, 就 得 到 V(x) (x -x ) 所 0 

反之 ,假设 x ,Xx ES3 合 得 六 zt) 二 大 2 我们 只 需 证 明 对 YA EE 
(0 1) AATI + Cl 一 和)x2) 所 入 X22) ,为 此 ,证 明 集 碟 是 空 的 ， 

L= {fx|lx = Ax + {tl Ax ,A EO Ar > fx,)!. 
反 证 ,假设 存在 一 个 x'E 工 , 则 习 一 个 A E(0,1) 且 太 x) > 二 za 使 得 

Xx’ = AX, + (1 — A)x,, 

由 于 六 是 可 微 的 ,因而 是 连续 的 ,于 是 六 在 一 个 8 E(t0,1) ,使 得 


Ar + (1 -px) > f(xs), (1 - 35) 

对 YAE[5,1] 和 成立, 以 及 不 > 所 2 冯 ' + (1 -5)x;) ,由 此 不 等 式 及 中 值 
定理 ,我 们 应 该 有 

0 <Ax) -flBxr' + (1 -Bx) = (1 - 6) Vv fA(£) (x' - x,), 
{1 — 36) 
其 中 ,于 =px + (1 -所 } ,对 某 个 六 EE(6,1), 由 (4~1), 因 然 了 (二) 
>A(x2), 

用 1-8>0 除 (1 一 36) 得 到 VY A)" (x' -x,) >0, 这 就 草 涵 了 

AE T(x, -x,) > 0. (1 -37) 


但 是 , 另 一 方面 ,f( 主 ) > 了 (x,) > 用 x1) 和 和 到 是 x 与 xX; 的 一 个 凸 组 合 ， 
由 定理 的 假设 ,Y fC(2)"(x, -人 ) <0, 于 是 我 们 就 有 : (假定 =Ax, + (1 
-A)x,, 其 中 入 Ee(0,1)) 

OF VHA -2£) = (1 A) V AE)T(r, - x), 
此 不 等 式 与 (1 -37) 是 不 相 容 的 , 故 工 是 空 的 . 

为 了 说 明 上 述 冒 理 , 设 A(x) =x’ ,为 了 检查 f 的 所 是 性 ,假定 f(x,) 去 
x) , 即 区 所 如 .只 有 当 x 所 x; 时 才 成 立 . 现在 考虑 f(x) (x, -x,) = 
3(x 一 ) 开 ,因为 x 和 x 所 以 3(xi -2 ) 台 <0, 因 此 f(x,) f(x,) 效 活 
着 VAX,) (x -x,) 所 0, 由 定理 知 f 是 拟 凸 的 . 下 面 我 们 看 另 一 个 例子 ， 
设 放 x) = + 人 邻 间 =(2, -2) 和 y= (1,0) ,注意 到 大 六) =0 
和 fy) =1, 从 而 f(y1) <f(y,) ,但 是 , 另 一 方面 VY fy) (y, -y2) = (3， 
0) (1, -2)7 =3. 由 定理 的 必要 部 分 .f 不 是 所 是 的 . 这 也 证 明了 两 个 拟 凸 
函数 之 和 不 一 定 是 拟 凸 的 . 

下 面 我 们 来 证 明 严 格 拟 凸 函数 能 保证 凸 集 上 的 局 部 极 小 点 为 全 局 极 
小 点 . 

定理 1.23 设 f/:R"*RR' 为 严格 拟 凸 函数 ,SCR" 为 一 非 空 凸 集 , 如 
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果 * 是 f 在 SS 上 的 局 部 极 小 点 , 浊 * 也 是 /在 $ 上 的 全 局 极 小 点 . 

证 反 证 , 若 * 不 是 f 在 5 上 的 全 局 极 小 点 . 则 一 个 个 SS 有 护卫 
<AX) ,由 S 的 同性 ,对 YA EC0,1) ,A+ (1 一 AA) 台所 5. 根据 假设 , 因 * 
是 局 部 极 小 点 , 融 不 存在 一 个 5E(0,1), 对 一 切 A E(0,8), 有 及 X*) 专 
让 AE + (1 一 入 )*). 但 是 ,由 于 了 是 严格 拟 凸 的 ,并 且 瑟 训 ) < 太 X) , 则 对 YA 
E(0,1), 有 斥 A 斌 +{《L -AZ)<FE) ,从 而 产生 矛盾 . 这 就 说 明 立 不 存 
在 . 鼓 是 了 在 5 上 的 全 局 极 小 点 . 

最 后 ,我 们 来 证 明 强 拟 凸 函数 能 保证 凸 集 上 的 局 部 极 人 小 点 为 唯一 的 
全 局 极 小 点 ， 

定理 1.24 设 产 R 一 R 为 强 氢 凸 函数 ,SC 及 为 一 非 空 凸 集 ,如 果 
是 了 在 S$ 上 的 局 部 极 小 点 , 则 x 是 ff 存 5 上 的 礁 一 全 局 极 小 点 . 

证 因 立 是 一 个 局 部 极 小 点 , 则 在 = 附近 存在 一 个 e - 邻 域 N.(X)， 
使 得 对 一 切 

XESMMN(Cx), Ni) Ar). 
反 证 法 , 恨 设 定理 的 结论 不 成 立 , 则 存在 一 点 主 5, 使 得 这 * 且 
Ht) eAx). 
由 强 氢 凸 性 ,对 一 切 4 E40,1) ,得 出 
FOAE + EL -Ax) < max{lf(#) Hx)) = fx). 
但 当 和 足够 小 , 《A+ (1 -A)x)E SNAN,(x). 于 是 上 而 的 不 等 式 与 * 的 
局 部 最 优 性 相 了 矛盾 .证 骨 完 成 . 

注 ， 每 个 强 拟 凸 函数 都 是 严 格 拟 凸 的 , 赦 在 定理 1.23. 定 理 1. 寻 中 

的 x 显然 是 了 在 5 上 的 全 局 极 小 点 . 
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2.1 最 优化 问题 的 提 法 及 分 类 


最 优化 问题 通常 可 以 表 为 函数 的 极 值 问题 , 即 
min A(x), (2—1) 
其 中 ,f:SCR" 一 R 为 实 值 函 数 , 称 为 目标 函数 ,$ 为 所 x) 的 定义 域 . 也 可 
以 写成 更 一 般 的 形式 : 
0 


st wetx) = 人 0, 
wx) EO, 
其 中 st 
PL) = (G(x) ,Pot))", 
bx) = Ch (x) ,p(X ) 
在 问题 (2 -1}) 中 , 自 变 有 量 x 可 以 通 取 定义 域 $ 内 的 值 而 不 受 限 制 , 故 
称 为 无 约束 极 值 阿 题 ,而 在 问题 {2 -2) 中 x E 5 必须 受到 一 定 的 约束 , 即 
PIX) =0, i=1,",n, (2 -3) 
pI) E00, 1=1,.,m, ‘2 一 
故 称 (2 -2) 为 约束 极 值 问题 (2 -3)、(2 -4) 都 称 为 约束 条 件 , 其 中 
(2 -3} 蚌 等 式 约束 ,(2 -4) 是 不 等 式 纳 束 . 也 称 * E 5 为 集约 束 ,在 我 们 
的 间 题 中 ,集约 束 是 无 关 紧 要 的 ,这 是 因 为 有 时 $=R" ,不 然 的 话 ,5 通常 
也 可 以 用 不 等 式 约束 表达 出 来 . 因此 ,今后 一 般 不 再 考虑 集约 束 . 
上 述 则 题 双 统称 为 数学 规划 . 按照 目标 函数 以 及 约束 条 忻 中 约束 孙 
数 的 类 型 和 自 变 量 取 值 状态 . 还 可 以 区 分 为 不 同形 式 的 数学 规划 - 
当真 #2) ,p(x) :fx) 均 为 线性 函数 时 , 称 为 线性 规划 , 当 其 中 企 一 
个 为 非 线 性 函数 时 , 称 为 非 线性 规划 ; 当 扰 *) 为 二 次 函数 ,piCz) ,站 (x) 
均 为 线性 函数 时 , 称 为 二 次 规划 ; 当 * 的 种 个 分 其 全 部 或 部 分 只 到 离散 值 
《如 取 整 数值 ) 称 为 整数 规划 ;在 整数 规划 中 , 若 x 的 各 个 分 量 只 到 0,1 
两 个 值 时 , 称 为 0 -1 规划 .还 有 几何 规划 ,动态 规划 等 等 . 
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求解 问题 (2 -1) 或 (2-2) 的 目的 ,是 要 确定 一 个 向 量 x” ,满足 
x} = min Ax), 

对 于 问题 (2 ~-2) ,还 湖 满 足 


wx" ) = 0, px") eo0, 
我 们 称 为 最 优点 , 对 于 极 大 问题 
| max F(x), 
如 果 令 六 x) = 下 (XY) , 则 转化 为 极 小 问题 
min Ax), 


因此 , 往 后 我 们 都 是 研究 极 小 问题 ,但 不 失 其 普遍 意义 . 


2.2 最 优化 问题 举例 


例 2.1 产品 生产 过 程 设计 
设 某 厂 用 一 定 欧 生产 流程 成 批 生 产 荣 种 化 工 产 品 , 在 保证 质量 的 前 
提 下 我 们 把 单位 重量 的 产品 价格 作为 评价 的 指标 . 显然 ,影响 指标 因素 首 
先是 原料 的 总 有 量 , 同 时 还 有 生产 过 程 中 的 有 关 因 素 :温度 ,压力 等 等 . 于 是 
根据 经 验 或 理论 分 析 ,我 们 可 以 把 评价 指标 (价格 ) 表 为 若干 个 参数 x,， 
一 x, 的 哆 数 
FR) 
并 有 我 们 所 关心 的 问题 是 : 求 看 ,…,%. ,使 放 *，… ,x,) 达 到 极 小 . 
从 工程 上 或 经 济 上 来 考虑 ,xl ,… ,x, 的 取 值 不 能 随意 ,必须 按照 实际 
给 予 的 东 ,最 简单 的 约束 是 
0 {i = 1,…,n), 
Ss= 1x|a,zr, 人 bi=1,..…,.nl, 
更 一 般 的 约束 是 
Pitx se) =0 (i=1,",n), 
piri 0 (= 1,.%,m). 
如 果 不 对 * 以 限制 , 则 形成 问题 42 -1) , 若 对 * 加 上 上 述 限 制 , 刘 形 成 各 
题 (2 -2). 
在 生产 实践 和 料 学 实践 中 ,与 例 2. 1 类 似 的 实 蒜 问题 大 量 存在 . 一 类 
， 问 题 是 工业 设计 和 控制 中 的 非 线性 分 析 ,例如 :结构 系统 最 优 设计 (两 杆 
椅 架 一 一 人 字 架 设计 ) ;机 械 霍 件 或 部 件 的 最 优 设 计 ( 齿 轮轴 颈 、 凸 轮 设 
计 ) ;化 工 设 备 最 优 设计 ( 单 件 或 连锁 设备 的 优化 设计 ) ;电力 网 络 和 水 力 
网 络 的 优化 设计 (平衡 条 件 ) 等 等 . 上 述 问题 遍 常 表 示 为 较为 复杂 的 非 线 
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性 规划 问题 . 男 一 类 问题 是 生产 计划 和 和 经营 决策 中 的 优化 问题 , 例如 : 合 
理 计划 生产 问题 ,包括 运输 .人 分配. 布局 . 选 址 、 指 浅 下 料 、 配 料 等 优化 问 
题 . 这 些 问题 通常 用 线性 规划 来 表示 ;合理 开发 (或 配置 ) 资 源 问题 ,包括 
可 再 生 资 源 的 持续 开发 ,不 可 再 生 资 源 的 优化 配置 等 . 这 些 问 题 通常 用 非 
线性 规划 来 表示 ;合理 组 台 投 资 问题 , 即 妃 求 最 大 收益 .最 小 风险 的 投资 
组 人 台 方 案 . 这 类 问题 通常 用 多 日 标 规划 来 表示 . 

例 2.2 模型 参数 识别 

在 某 些 学 科 的 研究 中 ,根据 学 科 的 有 关 知 识 ,假定 已 经 知道 在 一 定 范 
围 内 控制 所 研究 现象 的 规律 , 即 该 现 演 的 数学 模型 已 被 给 定 . 例如 是 时 闪 
的 函数 , 即 

fi) = +he, (2 -5) 

实验 室 进 行 试 验 的 虽 的 ,是 要 根据 在 时 刻 所 ,加 所 测 得 的 了 值 部 
矿 ,…, 放 来 居 计 (2 -5) 中 末 知 参数 ,9 , 负 的 什 . 

这 里 的 决策 就 是 合理 地 指定 这 些 参 数 的 值 ,而 合理 的 标准 即 基 使 这 
些 值 在 某 种 意义 下 为 最 优 . 因此 问题 的 关键 是 选 定 号 标 函 数 . 例如 我 们 采 
用 最 小 二 乘法 作 偏 盖 平方 和 函数 : 

5 人 ,由 ) = > (fF -ft)) = -0+ 页 


(2 -6) 

于 是 问题 变 成 确定 ,外 ,8 使 s{ 页 , 鲁 , 鲁 ) 达 到 极 小 , 由 于 对 模型 (2 -6) 
中 参数 外 ,&, 色 没有 任何 附加 条 件 , 故 形成 无 约束 最 优化 问题 . 

如 果 考 虚 到 这 些 参 数 的 物理 意义 ,那么 作为 无 约束 问题 解 得 的 参数 ， 

可 能 不 能 接受 . 为 了 防止 这 种 情况 ,宁愿 在 数学 模型 中 把 对 参数 值 的 限制 

也 包括 进去 . 例如 要 求 名 宕 0 以 及 及 0) =1, 即 0, + 6, =1, 于 是 形成 约束 


问题 : 
min s(#, ,0,,6,), 
3.t + 而 =1， (2 -7) 
g, 2 0, 


例 2.3 曲线 拟 合 问题 
这 种 问题 与 模型 的 参数 识别 有 紧密 的 关系 ,只 是 问题 的 提 法 不 同 
面 已 
设 给 出 观测 数据 ( 即 观察 函数 Y=y(t) 的 实测 管 ): 
{py), i= l,m, 
需要 确定 7 与 之 间 的 经 验 公 式 . 
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与 例 2.2 不 同 的 是 对 于 y 与 :之 间 的 美 系 没 有 经 验 可 人 弄 鉴 . 因此 , 数 
学 模型 的 选择 是 自由 的 . 通常 选取 一 个 独立 的 冰 数 系 igp,(2)| 1. ,(n< 
m) ,对 +t 七 [a,8], 阔 数 系 

Plt) Pat) ,ep Ct) 

是 线性 独立 的 , 例如 .常用 的 函数 系 有 : 

军 尔 数 系 fr :1 

三 角 消 数 系 | ain 产 ] :sin t,sin 21,-… ,sin nt; 

指数 函数 系 je7] :ee ,6*" 


令 r(D = Tapils), (2 -8) 


其 中 :x ,%;，,"… ,x 为 模型 的 待定 参数 , 仍 采 用 例 2.2 的 做 法 , 作 偏 差 平 方 
和 上 函数 
下 = 之 (7 人 5) 一 = 之 { py -yi) ， 
《2 -9) 


并 确定 za ，…z ,使 
sx min s(x We)， 

例 2 2 和 例 2. 3 中 所 示 的 问题 在 各 种 工程 技术 中 都 有 大 量 的 应 用 . 
除 上 述 三 类 实际 间 题 外 ,许多 数学 问题 的 求解 也 常常 归结 为 最 优化 问题 . 
例如 非 线 性 方程 组 的 求解 , 常 微 分 方程 边 值 问题 的 求解 , 变 分 问题 的 求解 
等 等 ， 

昌 然 实际 问题 中 网 数 极 值 问题 都 是 以 约 东 问题 的 形式 出 现 , 但 是 我 
们 研究 无 约束 极 值 问题 的 解法 仍然 是 有 现实 意义 的 . 这 是 因为 ， 

(1) 如 例 2.2 和 例 2.3 所 示 ,实际 中 存在 大 量 的 平方 和 极 小 化 问题 ， 
求 这 类 问题 不 带 约 东 的 更 为 普 记 ; 

(2) 其 些 求解 约束 极 值 的 算法 是 以 无 约 东 极 值 算法 为 基础 的 . 

正 因 为 如 此 , 近 二 十 年 来 ,人 们 极为 重视 无 约束 问题 算法 的 研究 ， 
做 出 了 很 和 多 有 意 关 的 成 果 . 读者 可 参阅 附录 最 优化 方法 的 发 展 
进程 . 

以 上 投 述 的 包 元 孙 数 的 极 值 问题 又 称 为 静态 优化 问题 . 其 特点 是 问 
题 中 的 目标 函数 乒 *%) 是 一 个 实 值 隙 数 , 决 策 变 量 * 不 含 时 变 . 最 优化 问 
题 的 另 一 种 类 型 是 研究 活 范 极 值 , 它 是 最 优 控制 讨论 的 对 象 , 其 中 上 自 标 函 
数 是 一 个 泛 函 ,状态 变量 xf 纪 ,控制 变量 wt 都 是 定 必 在 一 个 时 间 区 间 
上 的 函数 . 由 于 这 类 问题 洁 时 变 ,通常 史 称 为 动态 优化 问题 . 

例 2.4( 连 续 最 优 控制 问题 ， 
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考虑 一 电梯 从 某 一 高 度 最 速 下 降 到 地 面 ( 如 图 2 一) 

设 Yt 由 表示 时 刻 ! 电 梯 的 高 度 ( 又 称 为 状态 
背 数 ) ,ul 由 表 示 时 刻 ti 电梯 承受 的 推力 (控制 丁 
数 ) ,m 表示 电梯 的 质量 

根据 牛顿 第 二 定律 .容易 得 到 这 个 系统 的 状 


my"(1t) = u(t) - mg, 


(0) +e= ut), (2-10) 


问题 虽 标 归结 为 电梯 从 初 态 Yl ) 出发, 最速 下 


降 至 地 面 , 即 终 态 y(4) =0. 也 就 是 说 ,要 求 运动 ” 
的 控制 时 间 为 最 短 : 
1=5 -= d= min, (2 - 111 
因此 ,上 述 癌 题 的 数学 模型 为 
min J = fa 
人 + 如 = 二 zi 


[Et | < 
其 中 常数 二 是 推力 的 一 个 上 界 . 
车 令 半 (0 =F ya =7 DD) , 则 {2 -12) 分 解 为 一 阶 方程 组 
和 = y(t), 


WR pl 
m 


初始 状态 为 
y(t) = Ft ya 如) = 7 (ty. 
终端 状态 为 
Tt) = 0) = 人 yo) = = 0. 

与 上 述 最 速 升 降 问 题 类 似 的 实际 问题 大 量 存在 . 如 生产 分 配 与 生产 
计划 问题 ;反应 器 控制 与 液体 搅拌 问题 ;空间 技术 中 的 最 小 耗 能 问题 、 登 
月 问题 . 防 夫 拦截 问题 等 等 ,这 一 类 问题 的 共同 担 法 是 :在 一 定 条 件 下 
(状态 约束 ,控制 约束 ) .选择 可 控制 的 参数 ,使 某 一 连续 过 程 从 初始 时 间 
和 初始 状态 出 发 ,在 最 终 时 刻 最 优 地 达到 预计 的 目标 其 数学 模型 为 
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i 六 Ga 人 ,u(t) di. 
得 


X(t) = NC) a(t) ,tt ELt ,ts], 
st ixr(tt) EECR’, (2— 13) 
Pt EECR， 
其 中 初始 状态 x(t ) 为 已 知 ,终端 状态 x(5}) 和 白 由 或 者 受 约束 . 
满足 约 东 条 忻 的 Xt : 0 称 为 问题 (2 - 13) 的 容许 解 (x(1) 称 为 容 
许 状 态 ,nl 了 ) 称 为 容许 控制 ). 
使 min J(wtt)) = (tt)) 的 容许 解 # "(DD ,x "(由 称 为 问题 (2 - 
13) 的 最 优 解 Cu" (由 为 最 优 控 制 ,x 《5 匡 为 相应 的 最 优 轨 迹 ). 
动态 优化 问题 在 一 定 条 件 下 可 以 转化 为 静态 优化 问题 来 求解 . 例如 
连续 最 优 控 制 问题 经 离散 化 后 ,可 以 化 为 一 个 非 线 性 规划 问题 , 因此 ,本 
书 可 为 读者 进一步 学 习 最 优 控制 的 计算 方法 商定 基础 . 


2.3 无 约束 极 值 问题 算法 综述 


本 节 概 括 地 讨论 无 约束 极 慎 问题 算法 一 一 搜索 算法 的 特征 . 设 无 约 
束 极 小 值 问 题 
min f(x), (2 - 14) 
对 于 正定 二 次 函数 
f(xy = x Ax = (2 -15) 


由 于 VY”f(x) =A 正定 , 据 第 1 章 定 理 1.14,f(x) 在 R" 上 存在 全 局 极 小 点 
x” = 上 各 吕 , 即 放 x) 的 稳定 点 , 它 满足 VY fx*) =0. 

对 于 一 般 的 非 线性 淆 数 f(z) ,寻求 极 小 点 就 困难 得 多 ,古典 分 析 的 
方法 是 :首先 利用 必要 条 件 Y f(x) =0 求 出 稳定 点 x" ,然后 利用 充分 条 
件 { 第 1 章 定理 1.11) 及 凸 性 条 件 ( 第 1 章 定 理 1.14 一 定理 1.16)》 判别 
x' 是否 为 问题 42 -14) 的 极 小 点 . 

然而 ,用 古典 分 析 的 方法 求解 癌 题 (2 - 14) 实 际 土 是 很 难 行 通 的 ,这 
是 由 于 : 

(1) 实际 中 相当 数量 的 目标 函数 f(x) 不 具有 解析 性 ,因此 非 线 性 方 
程 组 VY A(x) =0 无 法 形成 ; 

(2) 即使 形成 了 VY f(x) =0, 求 它 的 解 几乎 与 解决 原 问题 一 样 地 
困难 ; 

(3) 即使 求 得 了 VY Ax) =0 的 解 x* ,但 由 于 所 x) 的 上 述 充 分 条 件 或 
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凸 性 条 件 不 被 满足 或 难于 验证 ,因此 仍 无 法 确定 < 是否 为 问题 (2 - 14) 
的 解 . 

鉴于 上 述 种 种 原因 ,对 于 问题 (2 - 14) 的 求解 ,通常 来 用 搜索 算法 ， 
即 下 降 算 法 . 并 且 根 据 目标 函数 解析 性 的 好 坏 , 把 下 降 算 法 分 为 两 类 :一 
类 是 解析 方法 , 即 在 构造 算法 时 ,用 到 了 fA(x) 的 导数 值 (或 者 一 阶 导 数 
V f(x) ,或 者 二 阶 导 数 HH(x) = VY f(x)); 另 一 类 是 直接 法 ,构造 算法 仅 
用 到 了 号 zy 的 值 . 


2.3.1 下 降 算 法 


在 定义 了 下 降 方 向 (第 1 章 定 义 1. 11) 后 便 可 构造 下 降 算法 . 对 于 给 
定 的 初始 点 ze : 作 如 下 计算 : 


(1) 取 定 下 降 方 向 po: 使 po 满足 YY f(x) po <0i 
(2) 确定 步 长 因子 en : 即 以 和 为 方向 , 作 射 钱 cpo 
X=xo+ apo; 在 此 射线 上 {图 2 -2) 定 出 a= om yd 
使 得 : 及 
flxo + oopo) < Mxo); 


(3) 选 代 : 以 =X。 + aps 作为 x" 的 第 一 级 近 图 2 -2 
似 值 - 
重复 上 述 步骤 ,得 到 一 般 的 选 代 公式: 
Xi 二 et BP, 


其 中 : 下 降 方 向 满足 VY f(xi) Pi<0i 
步 长 因子 oi 满足 Mx + api) <Ax) k=0,1,. 

综 上 所 述 , 给 出 下 降 算 法 的 一 般 步 又 . 

算法 2.1I 

OO 第 定 极 小 点 二 的 初始 近似 值 x。; 

声 置 天 =0; 

辐 计算 p,: VICx) pi <0: 

十 计算 oo : fx + opi) < 所 

加 计算 ,=X + pis 

@ 检查 终止 法 则 ,车 x, 达到 收 仑 精度 , 则 输出 x;,1 ,停止 和 代 ; 

全 置 =k+1 转 侈 . 

以 上 定义 的 下 降 算法 , 它 具 有 和 迭代 法 的 特征 ,下 降 方向 (或 称 搜索 方 
淘 , 寻 查 方 商 )p, 和 步 长 因子 m 构成 每 一 次 选 代 的 修正 量 , 因 此 ,它们 是 
决定 算法 好 坏 的 重 雪 因素 . 

关于 搜索 方向 p; 的 选择 ,应 遵循 如 下 原则 : 
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(1) 它 必须 是 下 降 方 向 ; 

(2) 希望 它 尽 可 能 指向 极 小 点 ,或 者 使 函数 值 下 降 最 快 ; 
(3) 构造 它 时 ,计算 量 不 是 太 大 . 

例 2.5 设 玉 x) 为 正定 二 次 函数 , 即 


f(x} = FAx -bx+e, 


其 中 4 为 正定 对 称 和 矩阵 . 在 二 维 情形 ,f(x) 的 等 高 线 f(x) =y 是 一 族 局 
心烦 圆 , 其 共同 的 中 心 鸭 二 次 函数 的 极 小 点 ,如 加 
图 2 -3 所 示 . 

从 人 尾 一 初始 点 zo 出 发 , 若 选取 负 梯 度 方 向 ， 
即 最 速 下 降 方向 可 = -又 所 zt) 进行 选 代 , 不 可 
能 一 次 造 代 达 到 大 zi 的 极 小 点 ,即使 经 过 若干 
次 选 代 , 也 只 能 得 到 极 小 点 的 一 个 近似 值 , 从 例 
2.6 中 我 们 将 会 验证 这 一 结论 . 若 将 负 梯 度 方 向 作 线 性 变换 ,从 尾 一 初始 点 
xo 出 发 , 取 下 降 方向 po = -4 Y 所 to) 进 行 选 代 , 则 一 次 选 代 便 让 达到 极 
小 点 - 我 们 称 pe = -4 f(z) 为 用 x) 在 xo 处 的 Newton 方向 . 

事实 上 ,如 前 所 述 , 正 定 二 次 葡 数 六 x) 在 R" 上 有 全 局 极 小 点 x*”= 
4 中 , 现 取 P= -4 YY 大 mm) ,并 取 mo =1 进行 渤 代 ,只 要 迭代 一 步 便 可 
达 棚 洒 点 , 即 

x = ro A Fx = 
= Xo Xo+ 有 BB =A"b = x". 

由 此 可 以 看 出 ,不 同 的 下 降 方向 之 问 仍 有 一 个 优 睹 比较 的 问题 . 

从 局 部 看 问题 ,在 x 点 分 近 , 沿 下 降 方 向 p= -YY 乒 zo) 进行 搜索 ， 
由 于 室 是 最 速 下 降 方 向 , 淆 数值 下 降 最 快 ;但 从 全 局 看 问题 , 沿 Newton 方 
向 po = -4 YY 灰 xzo) 进 行 搜索 ,一 次 迭代 便 达 极 小 点 ,用 原则 中 的 第 二 
条 衡量 , 它 比 -六 xo) 好 . 

虽然 这 个 例子 告诉 我 们 , 对 于 正定 二 次 儒 数 ,用 Newton 方向 进行 搜 
索 是 很 理想 的 ,但 是 构成 po。 = -VY xo) 却 要 花费 太太 的 计算 量 , 因 
此 从 原则 的 第 三 条 来 看 ,Newton 方向 还 是 有 缺陷 的 . 至 于 对 一 般 的 非 线 
性 敬 数 大 ENewton 方向 的 缺 路 更 辑 窦 出- 我 们 将 在 第 4 章 中 详细 讨论 
该 方向 的 构造 及 性 质 . 

综 上 所 述 ,对 于 搜索 方向 的 选择 ,尽管 我 们 规定 了 三 条 原则 ,但 不 可 
能 找到 一 个 万 全 的 算法 ,在 选择 方向 时 要 全 面 进行 考察 (从 范 数 的 性 态 
到 三 条 原则 ) ,而 且 各 种 算法 也 是 互相 补充 的 . 

关子 步 长 因子 m 的 选择 ,有 如 下 三 种 方案 : 


图 2 一 3 
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(1) 定 步 长 , 即 取 ce =1, 由 此 形成 的 算法 称 为 简单 算法 ,但 由 第 1 
章 定 理 1.9 可 知 , 这 种 算法 虽然 计算 方便 ,但 不 一 定 能 保证 算法 的 下 降 
性 质 ; 

(2) 变 步 长 , 即 每 次 选 代 中 , 接 如 下 原则 确定 ex: 

xi) SEANX), 

其 中 如， =2s + oP;, 由 此 形成 的 算法 称 为 可 接受 点 算法 , 这 种 算法 
保证 了 每 次 先 代 时 函数 值 下 降 , 但 并 非 最 优 ; 

‘3) 最 优 步 长 , 即 令 a; 满足 

fx + op) = min f(x, + op,), 

即 是 说 ,1 = +ops 是 记 xX) 沼 pi 方 间 上 的 极 小 点 , 岂 此 形成 的 算法 
称 为 完备 算法 . 该 算 潜 的 特点 是 ,把 一 个 密 维 极 值 问题 简化 为 逐次 沿 p。 
方向 的 一 维 搜索 (一 维 极 值 ). 其 优点 是 , 它 不 仅 能 保证 算法 的 下 降 性 ,而 
且 还 简化 了 算法 的 收 钱 条 性 . 往 后 我 们 知道 ,如 果 算 法 仅仅 满足 下 降 性 
质 , 还 不 能 保证 点 列 1x;! 收 证 于 问题 (2 ~ 14) 的 极 小 点 x“ , 基 至 不 能 保 
证 收 侣 于 玉 x) 的 稳定 点 , 因此 ,为 了 保证 算法 的 收 合 性 质 , 还 需 对 f(x*) 提 
出 一 系列 条 忻 , 而 对 于 这 些 条 件 的 简化 将 使 得 算法 更 有 价值 , 

完备 算法 虽然 已 点 较 密 ,但 也 有 一 个 严重 的 缺陷 , 即 每 进行 一 次 一 维 
搜索 时 需要 较 太 的 计算 量 , 对 于 高 维 极 值 问题 尤 为 突出 . 20 世纪 如 年 代 
以 来 ,点 , 点， Goldstern ( 1962, 1965) , W. I. Zangwill ( 1969 ) ，M. A. Wolfe 
(1969 ,1971) 等 人 致力 于 研究 不 用 一 维 搜索 的 算法 ( 凤 可 接受 点 算法 ). 
在 对 疡 x*) 要求 不 是 坟 大 的 情况 下 保证 由 此 所 产生 的 点 列 1x,} 至 少 收 人 名 
于 太 x) 的 稳定 点 , 这 些 最 新 理论 成 果 的 详细 讨论 可 和 参阅 文献 [11. 

下 面 我 们 给 出 一 个 简单 而 交 常 用 的 下 降 算 法 , 即 梯度 法 ,又 称 最 速 下 
降 法 ， 

算法 2.2 

已 知 :目标 函数 Ax) 及 其 梯度 g(x) = YY 信 x). 

DD 给 定 初 始 近 做 zt; 

加 计算 二/ 人 (x0) ,80 = 有 (xzn]i 

晤 置 上 =0; 

四 计算 负 梯 诬 方 向 ps= -入 

二 计算 上 :全 ax 满足 : 

zi + ep = min f(x + op:), 
或 者 , 令 a 满足 : 
fxs + opi) EAX); 
地 计算, = + ap 
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中 计算 请 ,， =f(R) Bi = BRUT ); 
检查 终止 法 则 , 若 雹 ,1 达到 收 钱 精度 , 则 输出 式 ,, ,否则 置 下 = 上 + 
1 转 弛 . 
在 算法 2.2 中 ,根据 确定 ms 的 不 同方 式 ,我们 称 算法 2.2 或 者 为 梯 
度 法 的 完备 算法 ,或 者 为 梯度 法 的 可 接受 点 算法 ,对 于 完备 算法 , 若 目 标 
| 明 数 为 正定 二 次 痛 数 


fixy = TxAx -bxr+ece (A >0), (2 -16) 


可 以 导出 a; 的 显 式 表达 式 
Be 
Bi 
公式 (2 -17) 的 推 必 过程 将 在 第 3 章 给 出 . 
生 2.6 试用 梯 论 法 的 完备 算法 求 函 数 
Fx sry) = x + 
的 极 小 点 . 设 初始 点 为 x。= (1,1) 
显然 , 极 小 点 +” = (0;0) ,现在 我 们 用 算法 2.2 来 通 近 这 个 极 小 点 . 
解 ”目标 一 数 拓 xz) 的 二 次 型 矩阵 为 


2 站 
过 = 


g(x) = V f(x) = El 


BY, 


(2 - 17) 


Cz 


梯度 表达 式 为 


由 x6o=(1,1) ,得 
go = Vf(x0) = (2.8) ， 
po =-go =- (2,8)" 
四 BoBo 
x = To + oopo = (0.738 46，- 0.046 16) 7 


= 0. 130 77, 


Co 


疼 由 不 得 
8 = VAxX) = (1.476 92, -0.369 23) ， 
pp, =- 8g, = {(- 1.476 92,0.369 23)7, 
T 
i 
Big 


x, = x + op = (0.11076,0.110 76).. 
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重复 上 述 计 算得 
x，=【〔0.081 62 ，- 0.005 79)". 

由 此 看 出 ,即使 对 于 正定 二 次 函数 ,由 梯度 法 所 产生 的 选 代 点 列 
1x| 收 化 于 x 的 速度 也 是 慢 的 , 这 个 例子 说 明 负 梯度 方向 , 即 最 速 下 降 
方向 , 它 是 在 一 个 点 邻近 的 局 部 件 质 ,从 全 局 来 讲 并 非 是 最 好 的 下 降 方 
向 . 对 于 一 个 下 降 算 法 ,如 何 规 定 其 收 仇 速度 及 终止 法 则 ,我 们 将 在 
2. 3.2 中 详细 介绍 . 


2.3.2 算法 收敛 速度 及 终止 法 则 


搜索 算法 是 一 种 迁 代 方法 ,如 同 任何 一 个 选 代 程 序 一 样 ,我 们 必须 考 
虚 它 的 收 雍 条 忻 , 收 合 速度 以 及 终止 法 则 . 对 于 收 合 条 件 的 讨论 将 在 
2.3.3 中 结合 具体 的 下 降 算 法 进行 . 本 节 将 给 出 收 钱 速度 的 概念 ,并 且 采 
用 事后 估计 的 方法 给 出 一 般 下 降 算 法 的 终止 法 则 . 


1. 收 全 速度 
定义 2.1 在 线性 赋 范 空间 iR", 1 中, 设 点 列 1x| 收 化 于 x*”， 
且 满 足 
Wi (2 - 18) 
i 


其 中 p 关 1 为 实数 ,c >0 为 与 上 无 关 的 常数 , 则 称 1x, | 为 p 上 阶 收 合 . 当 p =1 
且 0<e<l 时 ,xi| 称 为 线性 收 化 . 

当 p>1, 称 1x,| 为 超 线 人 性 收 敏 . 特别 p=2 时 ,1x,! 称 为 平方 收 合 ( 或 
称 二 阶 收敛 ). 

在 以 后 介绍 的 解析 算法 中 ,如 梯度 法 具 线 性 收 敦 速度 ,Newton 法 共 
二 阶 版 化 速 度 , 共 轧 方向 法 ! 共 辆 梯度 ) 则 具 超 线性 收 繁 速 虚 . 

根据 收 筑 阶 的 定 祥 ,可 以 推导 以 下 的 定理 , 它 对 子 构 造 适 代 终 止 法 则 


是 有 胃 处 的 . 
定理 21 在 线性 赋 范 空间 1R", 上 1 中 ,如 果 |x! 为 超 线性 收 
化 (Pp>1), 则 
LE = 1, (2 -19) 
mm |x: -x | 
证 ”由 收 但 阶 的 定义 ,着 pP>1, 则 
lm 
i x -x | 
另 一 方面 
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| 
EE lx -x | 
| x -x zr | 
| x 一 于 | 
| 1 ze ~ x — Ne | 
{ hx, -x" | 
_ | lx — x -1 
| xs -x" | 
所 以 lm ze 一 zl 1 


me |x — xe 

不 难 验 证 定理 2.1 的 道 命 题 不 必 真 . 如 果 我 们 知道 1x;| -+x" 的 收 伍 
阶 p >1, 那 么 (2 -19) 成 立 , 因 此 对 于 充分 大 的 正 整 数 记 ,可 以 用 
1 xs 一 Xi 中 来 估计 误差 x; -x ,并且 指望 用 |x,, ~x; <#( 给 定 
的 精度 ) 来 终止 选 代 . 

2. 选 代 徐 止 法 则 :下降 算 法 所 产生 的 点 列 j| xs 是 一 个 无 穷 点 列 , 当 
其 点 烈 收 合 时 ,需要 给 出 一 个 终止 迭代 的 渡 则 , 即 是 说 给 出 收 襄 的 准则 . 

(1》 如 前 所 述 , 当 xi| 的 收 化 阶 p >1 时 ,根据 {2 -19) 式 ,可 以 用 
xo 一 让 代替 x -x*” 来 估计 误差 . 从 而 对 预先 给 定 的 精度 e <0， 
以 x Te <s 作 先 代 终止 条 件 是 适当 的 .但 是 单独 使 用 上 式 是 有 和 毛 
病 的 , 这 是 因为 :第 一 ,在 实际 计算 时 我 们 并 不 预先 知道 {x,|] 的 收 伍 阶 ; 
第 二 ,x -未 必 是 上 的 单调 减 函 数 ,在 非 超 线性 收 人 证 的 情形 ,会 
出 现 异常 . 图 2 -4 表明 ,对 于 f:R 一 R 有 可 能 出 现 这 种 情形 ,虽然 
Tx -x 上 很 小 ,但 | As -天 | 仍 较 大 ,并 且 x 远离 极 小 点 x“. 事实 
上 ,因为 

| x 一 | 去 | 下 了 一 了 中 十 EE 者 i | 3 

由 x 一 x 上 很 小 (充分 大 ) ,可 以 保证 上 Xi 一 和 二 很 小 ,但 是 上 xi 
-于 | 很 小 并 不 能 保证 | zs 一 * 很 小 . 
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(2) 由 于 || 是 一 个 单调 减 序列 ,因此 , 当 增 大 时 , | 上 - 太 | 减 
小 ,从而 可 用 |, -大 | <e 作为 终止 条 件 , 这 种 想法 虽然 有 道理 ,但 图 
2 -5 表明 ,对 于 f:R' 一 及 ' 仍 有 这 种 情形 ,尽管 | 六 -| 很 小 ,但 |x,， 
-zx 较 大 , 且 x 远离 x". 由 此 看 来 ,将 上 述 两 种 标准 结合 起 来 才 是 比 
较 会 理 的 ,1972 年 D. M. Himmelblau 提出 如 下 的 收 化 准则 : 

设 Xi 已 经 算出 ,sj ,8 >0 为 预先 给 定 的 精度 . 车 上 ;| 
se 且 | 乒 | 科 el( 不 能 保证 非 零 } 时 , 取 


Mx -x < es 和 | -hi<s, (2 ~ 20) 
作为 迭代 终止 条 件 ， 
车 上 x zs, 且 | 天 | s 时 , 取 
| ee I 二 和 2 ps (2 -21) 
作为 选 代 终止 条 件 . 
当 A 的 值 及 x 的 分 量 值 较 大 时 ,为 减少 计算 ,采用 (2 -21) 作 为 碗 


代 终 止 条 忻 . 

终 上 让 条 件 (2 -20) 和 (2 -21) 对 于 解析 算法 及 直接 算法 都 能 适用 , 它 
在 算法 步骤 中 的 详细 描述 将 在 第 3 章 第 3.2 节 中 介绍 . 

如 果 大 zz 在 2 的 收 笋 范 国 内 是 可 微 的 , 则 极 小 点 zf 必 是 稳定 点 : 故 
采用 上 YY f(x,) 上 <e 也 是 合理 的 . 但 由 于 鞠 点 也 潇 足 必要 条 件 . 因 此 不 
单独 使 用 它 ， 

将 (2 一 20) 或 (2 -21) 与 上 下 六 xz) | <es 联合 起 来 作为 终止 条 件 
章 为 可 靠 ,通常 el ,es 了 到 10 一 ,而 es 取 为 10 一 . 

算法 2.3!( 所 -终止 法 则 , 子 程序 ) 

设 已 算出 所 si 天 :六 

中 给 定 el yes yeyi 

加 检查 上 VY Ax,1) <6s7 

是 , 转 避 ; 
否 , 返 回 主 程序 转 入 下 一 次 近代; 

时 令 p= Dx ; 

地 检查 P<e3? 

是 , 置 记 =1, 转 他; 
名 ) 令 psp: 
多 检查 | x -Xx <p? 
是 , 转 人 @; 
否 , 返 回 主 程序 转 人 下 一 次 选 代 ; 
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加 令 p= | 六 | ， 

检查 己 <e? 
是 , 置 p=1, 转 僵 ; 

D 令 p 二 czpi 

得 检查 | 上 -| <p? 

是 .输出 zu 六 ,9 选 代 终止 ; 
否 , 返 回 主 程序 转 入 下 一 次 迭代 . 

其 框图 见 图 2 -6. 


图 2-6 


上 述 吾 - 终 里 法 则 仅 为 判定 近代 点 烈 的 收敛 性 提供 了 事后 检验 的 方 
法 ,对 于 一 个 搜索 算法 ,即使 满足 下 降 性 质 ,还 不 足以 保证 |x 收 合 于 
所 zx) 的 极 小 点 ,甚至 不 能 保证 1! 收敛 到 碎 x) 的 一 个 稳定 点 . 因此 必须 
对 所 给 算法 作 收 全 条 件 的 分 桥 . 
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2.3.3 上 收 钱 性 条 件 


本 节 以 丹 度 法 为 例 , 分 析 下 降 算 法 应 具备 的 收 敏 条 件 . 下 面 的 定理 表 
明 , 对 于 梯度 法 ,无 论 是 完备 算法 还 是 可 接受 点 算法 ,其 收 钱 条 件 是 相 
同 的 . 
定理 2.2 设 /:5CR"_R', 满 足 
(C1) So。 5 为 凸 集 ; 
(2) 上 六 2 在 So 上 可 币 ; 
(3) 对 Yaxz,y ES ,有 
| YF -VAx) | Ly -x >0);: (2-22) 
(4) 对 给 定 的 初始 近似 加 E S50 ,水 平和 集中 = 1x [f(x) fx) | So， 
且 有 界 ; 
(5) 点 列 !x;| 由 梯度 法 的 完备 算法 或 可 接受 点 算法 产生 , 则 
DD | xy 1 为 单调 下 降 . 下 有 界 序列 ; 
全 序列 x! 的 任 一 极限 点 x*x" 满足 VY flr ) =0; 
(6) 若 fxX) 为 56 上 的 凸 耳 数 , 则 x 为 f+) 在 $。 工 的 全 局 极 小 点 . 
本 定理 的 前 五 个 条 忻 只 能 保证 梯度 法 所 产生 的 点 列 1x;| 存在 极限 
点 ,和 且 为 f(x) 的 稳定 点 ,但 不 一 定 能 保证 1x;| 收 侣 ( 唯 一 极限 点 ) , 即 是 说 
|x| 至少 有 一 个 子 序列 1x, | 收 敦 于 (x) 的 稳定 点 . 在 这 种 情形 ,即使 
ix,| 收 合 , 至 多 为 局 部 收 化 . 若 加 上 A(x) 的 西 性 条 件 , 不 仅 保 还 1x | 收 全 
且 收 襄 于 六 x*) 的 全 局 极 小 点 . 
证 (以 完备 算法 为 例 ) , 设 x,x E S50; 利用 中 值 定理 得 ; 
Hx) -Es) = VR ECF -X20)) (x x EC(0,1). 
车站 x) #0 变换 工 式 为 : 
Fx)y fry = VK) (x x) + (VAX +tECY -KY - 
V fx)) (x x,). 
令 站 
Fixy fx) = 和 YAR) 2 +t CY 2 十 下 一 一 
VK) Cx - x) 
由 Cauchy - Schwarz 不 等 式 , 并 利用 (2 -22) 式 
| {VAR + EX -X20)) -了 Ra Cx -Xx) | 
< | Vf + élx x)) -VAL) Ns Nx -zl 
< LNECx- x) la: Hr- x 
= Elo | V Am) hl 
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< Lo | VAx) |;, 
所 以 Ax) Ax) -wl YY) z+ Lo | YA) 2 


即 flxs -Ww VR)) fx) -wl VAx) NZ+ 
Lo V Aw) 有， 
故 min f(xs ~ w V(x2)) 
| < min (Ax) -ol VAE) NE + Lo vA) 2?). 
I 《2 — 23) 
而 (2 -23) 中 (…) 内 为 w 的 二 次 函数 ( 且 为 正定 ) , 故 极 小 点 为 we = 元 
故 由 !2 -23) 得 : 
zs) < Hx1) -本 | 了 AD) 1 (2 - 24) 


由 此 即 知 ,对 一 切 ,序列 |/(xi) | 是 单调 下 降 的 . 男 外 ,由 定理 的 假设 
(4) ,ixii Cy 四 且 有 界 , 据 Bolzano-Weierstrass 定理 , 必 存 在 极限 点 “成立 
limx, = xr. 

由 玉 x) 连续 性 可 知 ,x" C 由 且 对 一 切 大 0 成 立 /(x*) <f(x), 即 

[f(x,) 1 为 一 单调 下 降序 列 , 所 以 总 有 
lim (f(x ) 一 扰 )) = 0, 
于 是 由 (2 -24) 得 
xs) -xn) sail V Ax) 有， 


从 而 有 

0 = lim fxn) Ax)) < -lim VA) 1? <0, 
即 lm| VAxs) |: = 0， 
故 成 立 Vx) = lim V A(x) =0 


又 由 x) 在 5, 上 为 凸 联 数 , 据 第 1 章 定理 1.12 知 ,x 己 中 C5 必 为 
天 2 在 5 上 的 全 局 概 小 点 . 

如 果 在 定理 2.2 中 ,把 对 .Ax) 一 阶 导 数 的 要 求 加 强 鸭 二 阶 导 数 的 要 
求 , 即 可 歌 代 大 zy 的 凸 性 条 伸 .不仅 能 够 得 到 全 局 极 小 点 的 收 和 化 性 ,还 可 
给 出 收 笋 速度 的 估计 式 . 

定理 2.3 设 六 8CR"R' ， 

《1) Su ES 为 西 集 ; 
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(2) 太 XY) 在 $5,。 上 二 次 连续 可 微 ; 
(3) 入 xX) 的 Hesse 类 阵 (x) 对 Yx EE 5, 及 非 零 y E 及" 满足 
mlyh <y Hy < My (Mm >0); 
《4) 对 皆 定 的 初始 近似 x。E S56 ,中 = 1x |F(x) 所 F(xo)} CS, 有 界 ; 
《5) ze 由 梯度 法 的 完备 算法 或 可 接受 点 算法 产生 , 则 
QD Fx) 在 5, 上 存在 办 一 的 全 局 极 小 点 x' ,日 x 一 x (kyo ) 1 
声 对 于 完备 算法 成 立 以 下 收 化 速度 估计 : 
Tx.—-x" | ccc < 的 ， 
ze) -Fr ) < qflro) -Fr )), 
| 
加 对 于 可 接受 点 算法 以 下 收 货 速度 估计 : 
| x*, -x | 和 <w0<gqg<1, 
Fx) -fx Egfxo) -Hx 0 <qg<1. 


证 因为 定理 2.3 的 条 件 包含 了 定理 2.2 的 所 有 条 件 ,所 以 由 定理 
2.2 以 及 第 1 章 定理 1.11 即 知 结论 叫 成 立 . 关于 结论 号 ,二 即 收 伍 速度 


估计 的 证 明 从 稿 . 
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如 前 所 述 ,在 解 移 元 极 值 问题 的 完备 算法 中 ,每 一 个 挝 代步 都 需要 确 
定 ax 以 满足 
) Ax,+oP) = min f(x, + ap,), 
若 令 由 (ay = 所 2 + ap4) , 即 等 价 于 求 a; 满足 
pla) = 三 四 中 (ea 
因此 ,本 章 要 讨论 的 问题 即 是 求解 一 元 极 值 间 题 
min ba) , ‘(3-1) 
其 中 中 :有 一 及. 
求解 43 -1) 式 的 近似 方法 称 为 一 维 搜索 或 一 维 寻 查 , 显然 ,通过 一 
维 寻 查 确 定 ww ,其 是 栖 一 个 选 代 步 中 把 多 元 极 值 阅 题 化 为 一 元 极 值 问 
题 . 这 就 是 一 维 寻 查 的 直观 含义 ， 
下 面 我 们 进一步 解释 选 代 点 2 = + os Pi 的 空间 位 置 . 容易 证 
明 ,车 从 x 出 发 . 沿 p; 方向 进行 一 维 寻 查 得 极 小 点 后: = x; + Qs Pi; 则 
该 点 处 所 x+) 的 梯度 方向 VY 太 xi41) 与 BP; 之 间 满 足 


VAT) ps = 0. (3 -2) 
事实 上 ,9 (a) = f(x + ep) = VA + opi) pe 
由 中 xX) = 0, 得 VY Ar, + ay Pi) 'p, = D0, 
即 Vflx) Pp; = 0. 


我 们 以 二 维 情形 为 例 来 说 明 (3 -2) 式 的 几何 会 义 . 设 48 表示 二 元 函数 
fT) 在 *,; 处 的 等 值 线 , 即 
fxr) = f(x ). (3 - 3) 

如 图 3 -1 所 示 , 寻 查 方向 p, 怡 为 等 值 线 。 wv 人 
《3 -3) 在 x;,! 处 的 切线 ,而 极 小 点 ,1 恰 为 
Ps 相 切 于 48B 的 切 点 - (3 -2) 式 表明 了 f(x) 2 
党 方向 的 极 小 点 如 的 平面 位 置 ， 四 

在 微 积 分 中 解决 问题 (3 - 1) 一 般 限 于 
中 '(a) =0 可 以 直接 解 出 的 情形 ,在 实际 应 3 
用 中 ,通常 采用 一 维 搜索 方法 ,对 中 (ea) 的 解 图 3-1 
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析 性 不 作 严 格 要 求 . 一 维 搜索 方法 大 体 可 以 分 为 三 类 ; 

1. 求 根 法 :如 二 分 法 ,Newton 法 即 是 , 它 要 求 $8(t)} 的 一 芥 导 数 或 二 
阶 导 数 存 在 且 易 于 求 出 ; 

2 直接 法 :如 0.618 法 、 分 数 法 即 是 , 它 适 用 于 一 般 的 函数 ; 

3. 插值 法 :如 二 次 桂 值 法 .三 砍 插 值 法 等 , 它 适 用 于 一 般 的 连续 
函数 . 

本 章 着 重 介 绍 二 分 法 .0.618 法 和 分 数 法 . 


3.1 搜索 ( 寻 查 ) 区 间 的 确定 


定义 3.1 设 由 :CR 一 及 ,是 币 ( 纪 在 工 上 的 全 局 极 小 点 ,如 果 
对 于 工 上 任意 两 点 4 , 右 , 且 机 < 三 ,都 有 


当 志 六 上 时 ,中 (二 > pit,); 
当时 


册 称 由 ( 旨 是 工 上 的 单 谷 函数 ( 见 图 3 -2) ,显然 在 工 上 的 严格 凸 函 数 是 
单 作 函数 ,反之 不 必 真 . 


四 


na { I™ 


人 二 3-2 


定义 3.2 设 四 :LCR' 一 R 为 单 谷 函数 ,1" 是 中 ( 引 在 上 上 的 全 局 极 
小 点 ,如 果 能 找到 二 ;ts 瑟 上 ,使 得 <1 < , 则 称 [#, 志 jj 则 向 中 (i) 的 极 
小 点 1" 的 一 个 寻 查 区 间 , 记 为 {5 ,tj 车 < < 志 , 也 可 把 寻 查 区 间 14， 
ts 记 为 [ts ,f2|. 

定理 3.1( 单 党 函数 的 性 质 ) ” 设 $(1) 为 单 谷 函数 ,1a,8i 为 其 根 小 
点 的 一 个 寻 查 区 间 , 对 于 Yt,t, E (oe,8), 且 < 车 中 () < 中 (4); 则 
Ta, | 为 中 ( 直 ) 的 极 小 点 的 一 个 寻 查 区 间 ， 

车 中 > 中 6) , 则 1 ,61 为 由 (站 的 极 小 点 的 一 个 寻 查 区 间 ( 如 图 
3 一 了). 

证 ” 设 相 反 ,在 第 一 种 情形 上 ,假定 la,oj 不 是 寻 查 区 间 , 则 中 (的 
极 小 点 1 局 在 i,b} 中 ,此 时 ,i <#t" ,由 单 谷 函数 的 定义 ,四 (hi) > 
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图 3-3 

中 4) ,与 假设 举 盾 ,从重 1a 沪 } 为 寻 查 区 间 . 

阿 理 可 证 明 第 二 种 情形 的 论断 . 根据 单 从 函数 的 上 述 性 质 , 可 以 设计 
确定 中 (如 极 小 点 的 寻 查 区 间 的 进退 算法 . 

设 中 ( 昌 为 单 谷 函数 ,给 定 初始 点 ;初始 步 长 上 &, 试 确定 导 查 区 间 
[a ,5]. 

首先 计算 (i0) ,中 (10 十 无 ) 

1 前 进 运 算 : 若 中 (5) > 由 tto t+ 让) , 步 长 加 大 2 倍 , 计 算 中 (H+3h)， 
再 比较 中 [to +) 与 由 ( +3h); 

车 中 oo + 玉 ) 所 中 (+3h), 则 令 8 =t,8 = +3h; 否 则 步 长 加 悦 , 继 
续 前 进 ， 


2， 后 退 运算 : 若 由 (nm) < 由 (4 + 及 ) , 步 长 缩小 为 于 倍 变 号 ,计算 
hy ，. 下 
[如一 二): 肖 比 较 中 (i) 与 [一 要 


若 直 (名 一 古 ] > 中 (45) , 则 令 = 总- 千 亿 = 避 + 大 否则 步 长 加 入, 继 


续 后 退 . 
后 退 算法 的 特点 是 : 若 中 (H+ 法 ) 下降 , 则 前 进 , 且 每 前 进一步 , 步 长 
加 信 , 直 至 函数 值 回 升 为 止 ; 若 中 (to + 记 ) 上 升 就 后 退 , 且 每 退 一 步 , 步 长 
加 倍 , 直 到 函数 值 回 升 为 止 . 
算法 3.1( 进 退 算 法 ) 
DD 给 定 toshs 
命令 gq = ,0 = +h; 
地 计算 由 = 中 Ca) ,中 = 中 (aa) 
四 检查 由 > 中? 
是 , 转 仿 ( 步 长 加 售 前 进 )， 
否 , 转 中 (缩小 步 长 后 退 );， 
全 置 玉生 2 天,a 和 Gy + 上， 
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中 | 二 由; ,中 = 中 (az); 
地 比较 中 > 中,? 

是 , 令 也 1 二 a - 玉 , 转 侣 ， 

否 , 转 如 


@@ 置 je -地 


时 置 oo 二 扩 ,中 :居中 出 | = 中 (Ga 
二 比较 由 > 四,? 

是 , 转 曲 ， 

否 , 令 m = ai 一 天 由 二 2, 转 局 ); 
克 置 a =ai,5=a, 停 . 


3.2 二 分 法 


设 由 (在 寻 查 区 则 [ae,8] 内 具有 连续 的 一 阶 导数 , 它 的 表达 式 为 
pt) = f(r + DB ). 
如 前 所 述 ,如果 中 (tf) 在 [a,6] 上 为 单 谷 函数 , 则 问题 min 中 (+) 可 以 
转 北 为 在 [a,8] 上 求解 方程 
$1) = 0. (3 一 4) 
因为 中 ( 引 在 [et ] 和 [Lt ,8] 内 分 别 
是 下 隆 函 数 和 上 升 函 数 ( 图 3 -4) ,所 以 不 
妨 假 定 
(al < 0, 中 (5 > 0， 
此 时 可 用 二 分 法 求 (3 -41 式 的 根 . 


算法 3.2 

已 知 中 (t) 及 中 '(t) 的 表达 式 ,误差 图 3-4 
限 =， 

中 据 算法 3.1 确定 初始 寻 查 区 和 间 [a,6] ,并 假定 由 (ea) <0,$'(5) 
>0， 


加 计算 c= 了 (a+5): 


辐 检查 中 (ec) =0? 
是 , 则 "=e, 转 人 @ 

四 检 查 中 (ec) <0? 
是 , 令 ea =e, 转 局 ， 
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否 , 令 4 了 =e, 转 @， 
辐 检查 la -bl <g? 


是 , 令 * = 六 (a+5) , 转 @， 


否 , 转 名; 
' 地 打印 二 ,停机 . 
注 算法 3.2 的 第 一 步 确定 由 ( 纪 的 寻 查 区 阳 即 是 确定 由 (fi =0 的 
有 根 区 间 [a,5]- 原则 上 可 采用 进退 算法 3. 1, 但 不 必 有 照搬 , 确定 [a,8] 的 
| 简单 作法 是 : 
给 定 与 ,只 > 人 0， 
QD 计算 由 (5) ,车 中 6) =0, 令 1” = ;停止 计算 ; 
若 由 (bj <0 ,做 全, 二 两 步 ; 
车 由 (no) >0 ,做 电 , 加 两 小 . 
全 ) 邻 ti =to 二 内。 
辆 计算 (00), 车 中 (4) =0, 则 信和 全 =; 
若 中 (i) >0, 则 令 和 = ,b= 
车 中 ) <0, 则 i <, 转 令 ; 
(四邻 二 二 霹 一 上 ; 
地 计算 由 (6 若 中 人) =0, 刚 令 17 = 
若 中 5)<0, 则 令 a= 和 四 =Pi 
车 由) >0, 则 5 和 =4 , 转 鲍 - 
二 分 法 由 于 每 次 选 代 计算 量 较 少 ,而 且 总 能 收 误 于 一 个 局 部 极 小 点 
而 受到 欢迎 ,但 它 的 一 个 罕 出 缺陷 是 收 或 速 麻 很 但. 


3.3 直接 方法 


所 谓 直 接 方法 (不 用 求 导 数 的 方法 } 就 是 直接 比较 函数 的 大 小 来 寻 
求 极 小 点 ,在 介绍 各 种 直接 方法 之 前 ,首先 介绍 如 何 缩短 寻 查 区 阿 . 

假定 寻 查 区 间 [a,5] 已 经 确定 , 且 在 [a,b] 内 中 (1) 是 单 谷 函数 , 若 在 
[a,8 |] 内 任 取 二 点 <5 , 据 单 谷 肖 数 的 性 质 ( 定理 3.1): 

车 由 人) Bb), 则 i Ela,b]=[e,b,]; 

若 由 (> 四 (t), 则 #5 Et ,6 =[a,b]; 

车 四 (6 ) = 出 (5 , 则 tt Eli i] = [ed]; 
继续 上 述 过 程 .我 们 得 到 一 串 收 编 区 间 

[e868] —* (ab | 一 … 一 [ a,b,] 
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以 及 每 一 个 区 间 的 一 对 比较 点 
时 1 


车 如 as<5, 则 取 :* = 方 (@4+b)， 


剩 下 的 问题 是 ,在 收缩 区 间 内 ,如何 选 择 比 较 点 . 在 上 述 确定 [as ,如 
的 二 种 情形 中 ,前 丙种 情形 的 共同 点 是 ,每 次 收缩 区 间 时 ,新 的 寻 查 区 间 
办 已 保留 了 一 个 旧 点 ,因此 只 需 再 选 一 个 新 点 ,而 第 三 种 情形 , 则 需 重 选 
两 个 新 点 ,为 此 ,我 们 把 三 种 情形 合并 成 两 种 情形 : 

车 (5) < 中 (5), 则 已 后 [ae]=[al:5]; 

若 击 (4) 中 () , 则 1 EE[t,8] =[al,b1], 这 样 处 理 就 减少 了 每 次 
迭代 的 计算 量 . 

为 了 得 到 计算 t,t 的 公式 ,我 们 首先 引 人 区 间 缩 短 率 的 概念 . 

定 久 33( 区 间 缩 短 率 ) ”在 逐次 缩短 区 间 时 , 设 


b， 一 立 

p - = Ti {0 <T<1), 
ba 

b, — 

“ -人 (0 <T, < 1)}, 
bb -a 

b. -a 
di (0 <T, < 1), 
Bi 一 Oe- 


称 rt, {k=1,2,…) 为 区 间 缩 短 率 ,对 于 t, 不 外 乎 两 种 情形 ,或 者 Ti = 常数 ， 
或 者 z, 关 常 数 ,第 一 种 情形 即 可 引信 0.618 法 ,第 二 种 情形 即 可 引 人 分 
数 法 . 


3.3.1 人 0.618 法 { 黄 例 分 割 法 }】 
在 定义 3.3 中 , 令 T; =t( 常 数 ) ,此 时 


ba bb,— b;, — a 
一 | Bb 
即 b,—ar=T hb- a) ,k=1,2,.. (3 -5) 
根据 (3 -5) 式 ,确定 每 次 收缩 后 各 个 寻 查 区 间 内 试验 点 14 ,4 ( 
= 人 ,1,…) 的 位 置 . 


设 在 fa,8] 内 8 ao 的 位 置 是 对 称 的 , 见 图 3 -5, 下 面 推导 计算 
0 ,6 的 公式 


若 中 (9) < 由 (2 , 则 应 取 a =a,b = 如 ,此 时 
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| 
a 1 a5 b 
3 -5 


EE =6-— {hb -4a) =b-rh-a), 


(0) 
fy 


车 和 (29) 沽 出 (9 ) , 则 应 取 @ = , = 二 ,此 时 
人 = 点 一 (一 CI) =b-rh -a), 


(9 
总 


=Q+f(a -a) =a+rthb -a). 


=a+ th -a) =a+rth -a). 
因此 ,对 于 上 述 两 种 情形 ,确定 0”,t% 的 公式 是 一 至 的 , 即 


Ee =b-Th -a) <= a+(l-r)(b-a), 
| (3 ~ 6) 


Hi = 站 十 下 一 oa). 
一 般 地 , 候 定 | 2 在 [a， ,,] 内 的 位 置 是 对 称 的 ; 则 应 有 


i = brTibi a) =a+(l -rs, 一 0 ， 
| (3 -7) 


(与 
ry 


= a + rhb, - a,). 


(3 -7) 式 就 是 0.618 法 确定 试验 点 的 计算 公式 . 它 表 明 , 在 寻 查 区 
间 [as By] 《k=0,1,…) 内 ,试验 点 i” 位 于 区 间 长 的 1 -rzr 倍 处 ,而 另 一 
试验 点 ”位 于 区 间 长 的 7 倍 处 ,后 面 将 进一步 导出 r = 0. 618. 

算法 3.3 

已 知 中 () ,误差 限 ,r=0.618. 

@@ 确定 四 (1!) 的 初始 寻 查 区 间 [o,5] (算法 3.1); 

加 计算 =a+t(l -TD)(b-a) ,中 = 中 (三 ); 

多 计算 1 =a+tr(b -a) ;中 , = 由 (rt); 

地 检查 1 -bl <e? 


是 , 令 忆 = 过 (6 + 名 ) ,打印 ,停止 计算 ; 


他) 检查 $< 中,? 
是 , 冒 h = ,by = 二 ,中 = 中 =a0+(1 -Tr(a) ,= 中 (i) , 转 
@; 


置 4 = =1 + ) 帅 。 = 办 (1) , 转 时 . 
在 算法 3.3 中 , 当 收 缩 区 间 为 [a,8] 时 ,在 新 的 寻 查 人 区间 [a,,8,] 内 ， 
确定 试验 点 ,4" , 避 ” 的 方法 是 : 
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当 由 < 由 时 ,保留 旧 点 咎 一 避 ， , 取 新 点 
人 = 应 1 十 《1 -Tb, 一 中 
当 ,关中 时 ,保留 旧 点 引 一 , 取 新 点 
红 三 好 1 + Th, — aL). 
在 第 一 种 情形 ,的 = 各" ,此 时 有 
a + T(h 一 如 三 QI 一 王 ) (由 一 在 ) 3 
而 a = ,bb -a =T(b -a), 
故 得 +t-1=0. 
因为 0 < < 1 二 r= 1 ~ 0.618. 
在 第 二 种 情形 ,tt ”= ,此 时 有 
a + (1 -rb a) =a+rthb — oo); | 
而 a = =a+(1 -rb -a),b, -a = Tb -a), 
故 仍 得 t+-1=0, 
由 0 <r<1, 故 r==0. 618. 
3.3.2 分 数 法 {Fibonaceci 法 } 


在 定义 3.3 中 , 若 t; 关 常数 , 取 


Fi 
Ti 
A, 
其 中 F 满足 递 推 式 
人 1] hE = 2 3， (3 -8) 
F; = PF, + 2 


即 Rl1l 1 2 3 5 8 13 


由 (3 -8) 所 确定 的 数列 叫做 Fibonacei 数 . 下 面 给 出 分 法 的 计算 
步骤: 
设 由 (站 在 [a,5] 上 是 单 谷 函 数 , 且 给 定 试验 点 的 个 数 为 n, 即 用 分 数 
法 一 共 要 计算 次 函数 值 ,于 是 可 列 出 Fibonacei 数 Fo ,天 
1. 第 一 次 收缩 将 区 间 [a,&8] 缩 小 六 [a ,8;]. 
首先 在 [a8] 上 按 如 下 公式 计算 9 , 约 ”; 
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Fr 


本 
太 =b-r {hb-a}=6- 站 六 {3 -90) 


n h 


Fr 
4 =a+t, (bao)=at (a) 


然后 比较 $8059) ,四 {2”) ,确定 [a ,号 ] : 
车 中 (5) < 四 (8 ) , 取 @ =a,b = ; 
车 由 人 ) 演员 5) , 取 a = ,b= 
2. 第 二 次 收缩 将 区 间 [ a ,6b,] 缩 小 为 [a,,b,]. 
首先 在 fa; ,8,] 内 按 如 下 方式 确定 试验 点 1 ,2 ; 
车 四 (4) < 四 (4 ) , 取 
”=f (保留 昌 点 )， 


iT + np — qa.); | 
1 上 下 了 ] 全 

车 四 (HW) 关中 (420) , 取 
ti = 【保留 旧 点 ) ， 


五 ，1 
然后 比较 由 ( 昌 ”) ,由 (5 ) ,确定 [a,,b,]: 
车 中 (5) < 中 (人 ) ,了 权 as=aiyb = 下 
若 由 (6 )》 泣 遇 (有 2 )》 , 取 aa = 有 ”8 = 机 
可 以 证 明 在 [a,,5b,] 内 用 类 似 于 (3 -9) 的 公式 确定 中  , ”与 (3 - 
10) 、(3 -11) 完 全 一 致 . 事实 上 , 按 (3 -9) 式 ， 


PF PF, 
和 = 
n=l 


PF 
= a -Tb -a) = a, FF (让 ~ a1). 
nm—l 


车 由 (0 < 四 (2 ) ,此 时 由 于 a = 站 = 后 , 故 有 


1 


他 bp th) er 人 -49 
-0 t(D 0). 
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Fa F FP,. 
1 = +F (eo > 一 好】 -a = + Fb -a) =t, 
由 兹 得 
tt Ee 
FL 
人 二 而 + (8 - ai ) ， 
直 即 (3 -10). 


车 办 (2 ) > 由 (2 )》 ,此 时 由 于 ol = ,b=5, 帮 有 


Cy 


F F 
HO = BN =a+ ba) = 


Fi FF, : 
由 落得 
a 至 和 
开 
| = 而 be -而 )， 
示 即 (3 -41). 


3. 设 已 进行 ~1 次 区 间 收 缩 , 即 将 [oa,.;,5,.; |] 缩 小 为 [ a,.,， 
b,_1]. 宇 [a,.， 溃 ,-2 |] 内 按 如 下 公式 确定 试验 点 ;: 


本 F 到 
i | b.,_» es Pa 2) 加 他 nm 3 十 Fb 一 2 用 
守 2 
Ea 
HY = ab (3 - 12) 
2 


因为 P=, 族 =" ,由 此 不 能 比较 和 (4?) ,中 (a) 的 
大 小 ,将 (3 -12) 改 写成 ; 


be ,bs 2 — 2) 
(3 -13) 
二 1 + 站 
i -2 + 2 Cp -2 一 0..2 ). 


式 中 5 为 任意 小 的 正 数 . 然后 比较 由 (和 ) ,中 (8): 

车 中 (4 ) < ), 取 1 = 

车 四 (0 ) (2), 取 t" = 

从 上 述 步 又 中 可 以 看 出 :分数 法 与 0. 618 法 的 迭代 过 程 基 本 上 是 相 
同 的 ,所 不 同 的 只 有 两 点 :一 是 区 间 缩 短 率 r, = 了 .1/F, 并 非常 数 ; 另 一 点 
是 要 事先 确定 试验 点 的 个 数 n. 

如 何 定 x? 我 们 作 如 下 分 析 : 
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在 收纳 区 间 过 程 中 有 
Fi Fs 
mT | 
[a,8] Lab ] 一 aa] 一 
Fs | 
Ti = 一 Ty = 一 
3 各 
一 [a, »,b.2] FF Le。 ; :1 |] ， 
按 定 灸 3.3, 有 
b -a FF 
| 1 L a 
Bom BP 
! TT 
b, -ai Fi 


bs — a F, 
二 一 
Le 3 F, * 
b,. 是 好 -1 FR 
ee TT 3 
[| 一 名， 2 Fh, 
还 有 
6 一 | b, -, | 和 b. 人 全-1 
吾 一 痊 b, ns 好 1 了 -3 岂 一 亡 6, 2 立 , -2 
十 Fs 3 FR FE 
. 下 。 F, 1 Fs F,” 
hl — ,i FI ] 
有 即 ba F. 天 
1 
评 有 即 b, 2 -0.2 = Fe -0) 


ba 2 < £, 


则 只 要 选择 ,使 
F, > (ba), 
Fd 
于 是 便 可 得 到 对 应 的 
最 后 我 们 给 出 分 数 法 的 计算 方法 . 
算法 3.4 


全 给 定 初始 寻 查 区 间 [e .9 ,及 >0,6>0; 
@ 人 SF=T(B an-1,F, =1,7, =1; 


国 置 n=n+t+l;F, =F, 十 下 1j 
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中 车 之 让, 转 回 ,否则 转 晤 ; 
鲍 置 k=0， 


F 
三 十 天 —- a), 


Fp 
过 
中 


_ Po, 
ER -qa),， 


并 计算 由 = 中 全 中 = 中 人 
® 车 由， < 中 1, 则 令 a=a,b=i;ty = 二 中 = 中 


F 
ti = ot+F (ba) ,和 = 中 (#1); 转 名 ; 


n-i-l 


车 中, 宇 中 ,;, 则 令 了 B=b,a=4 iF = ,由 | = 中,; 


ds 


好; 置 尺 = 上 +1， 
若 上 <m-3;, 则 转 心 ， 
若 太 =n -3, 转 @; 
® 4 nat (bo) ,b=$(t), 
t, a +°(b -a) :中 ; = 由 (Ff) ; 


轩 若 中 < 由, 令 语 = ts 
若 册 | 宇 中 ;; 令 语 三 
注 在 算法 3.4 中 ,由 于 站 = 人 时 ,公式 已 列 出 


五 
ft 一 十 (Cb -a), 


nn 


[a 
ty = 可 二 (bo), 


故 通 式 应 为 


F 
ty = + ba), 
一 趟 一 1 


F 
i = oth -a). 
n—k—1 


判别 式 应 为 =n 一 3. 
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本 章 讨 论 Newton 方法 及 改进 它 的 几 种 修正 策略 ,着重 介绍 执行 算法 
所 采取 的 各 种 保护 措施 , 略 去 了 算法 收 伍 性 分 析 - 


4.1 Newton 方法 及 其 局 限 性 


Newton 方法 的 基本 思想 是 用 一 个 二 次 函数 去 近似 目标 阔 数 ,然后 精 
确 求 出 这 个 二 次 函数 的 极 小 点 ,以 它 作 为 目标 函数 极 小 点 的 近似 值 . 
设 了 :了 "一 及 在 其 极 小 点 x*" 的 某 一 开 凸 邻 域 
D= {x|llx-x"l| <# 
内 二 次 可 微 , 将 所 x) 在 x 处 展开 到 二 次 项 


fx) = f(x) + 可 (za + Hr) G(x -ri), (4 -1) 


其 中 g = VAx), G, = Vf), 
令 00r) = Hz + a(x + 证 ( G(r x) 

(4 - 2) 
当 G, 正定 时 ,二 次 通 数 0(x) 有 极 小 点 ,由 第 1 章 定理 1. 10( 极 小 点 的 一 
阶 必 要 条 件 ) 知 


V Ox) = gg + G(x -x) = 
由 此 得 x =x 一 Gi Bi 即 是 Q(x) 的 极 小 点 . 令 
Xi = Xe — G7, {4-3) 

我 们 用 zx, 作为 用 x) 极 小 点 x "的 第 +1 次 近似 ,(4 -3) 中 p= -Gg 
是 fx) 在 x 外 的 Newton 方向 ,因此 称 该 式 为 Newton 迭代 公式 . 

以 二 元 函数 为 例 说 明 Newton 法 的 几何 意义 . 如 果 Gi 正定 , 则 
(4 -2) 所 示 的 二 次 函数 0(x) 的 等 值 线 是 一 族 椭圆 ,由 (4 -3) 得 到 的 
Xx,,! 怡 为 这 族 椭 圆 的 中 心 .; 若 以 过 加 点 的 酉 圆 近似 代替 六 z) 过关 点 的 
等 秆 线 , 则 ,可 作为 碎 *) 的 极 小 点 x 的 第 +1 级 近似 值 ( 见 图 4 ~1). 

算法 4. 1(Newton 法 ) 

设 是 A 用 X) 极 小 点 x" 的 初始 近似 - 

中 置 大 =0; 
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Or ) 


图 4~1 
团 计算 外 = (8 的 和 全 二 (G ) =1, 2 
BCX) . 
8 tt sE=1,2,°,n, 
BR) 
站 
避 ， Br dr i,j=1,2," ,Nn 


二 计算 进 代 方向 pl: GP = 一 8 

中 计算 ,=x +p,: 

命 检查 选民 终止 条 件 ( 即 执行 第 2 章 算 法 2.3) 

若 满足 , 则 和 输出 x;,1 ,停止 计算 ,否则 转 人 @; 

全 冒 天 = 下 +1 转 全 . 

例 4.1 求 Kx) =Asizy=(z-2) +(050 一 2x) 的 极 小 点 - 

解 ” 设 初始 点 为 xo = (xi ,x4") = (0.3) ,直接 计算 可 得 
go = VAX) = (-44,24)", 


50 -4 
G = vAzx) = | ， ,| 

解 方 程 Gopo = go, 

得 ps = (0.67, -2.67)", 

于 是 x = Xo + po = (0.67,0.33)", 


至 此 ,第 一 次 选 代 完 毕 . 按照 同样 的 步骤 ,只 要 B80, 先 代 就 可 以 继续 下 
去 ,下 面 烈 出 前 六 次 迭代 的 结果 ( 见 表 4 -1)， 


1.41 1. 61 1. 74 I. 83 
[ool | [ogo] {os] | os 


0. 005 


显然 选 代 点 列 1x,| 当 上 充分 大 时 , 趋 于 f(x) 的 极 小 点 x" = (2,1) ， 
当日 标 函 数 记 x) 为 正定 二 次 函数 时 , (4 -1) 式 为 精确 等 式 : 即 太 x*) 
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= 昌 (x) ,用 (4 -3) 式 进行 一 次 选 代 就 能 达到 极 小 点 . 
在 一 般 情 形 ,可 以 证 明 ,如 果 初 始点 zo 充分 接近 x“ ,在 一 定 条 件 下 ， 
则 由 算法 4.1 所 产生 的 点 列 jzri 凡 二 阶 收 仇 速 度 收 部 于 扰 z) 的 稳定 点 
‘ 驻 点 ). 车 对 天 x) 加 上 廿 性 的 假定 , 珊 x' 为 六 xX) 的 局 部 (或 全 局 ) 极 小 
点 . 但 由 于 Newton 法 的 简单 算法 对 初始 点 wo 的 依赖 很 大 ,因而 实际 应 用 
是 不 合适 的 , 在 实际 应 用 中 :通常 由 于 远离 工 ,从 而 使 Newton 算法 可 
能 出 更 一 些 异 常情 况 ( 如 考虑 第 站 次 选 代 的 情形 ) 如 下 : 
(1) Gi" 不 存在 ,导致 p= -Gig; 无 意义 ， 
| (2) G7 存在 但 不 正定 ,由 于 grip = -giGr 'g4 非 久 , 故 知 P, 非 下 降 
方向 ,导致 捕 ,; > 上 
(3) Gi' 存在 且 正 定 , 但 车 p; 很 文 :因而 简单 算法 如 ,= ze +P; 不 
能 保证 六 ,< 
(4) pi 与 8 正 交 ,PD; 痉 非 下 降 方 向 亦 非 上 升 方向 . 
当 出 现 上 述 尾 何 一 种 情形 时 ,Newton 述 代 法 便 无 法 继续 壕 民 下 去 ， 
下 面 我 们 讨论 为 了 避免 出 现 前 面 所 询 出 的 一 些 异 常情 形 而 膝 取 的 一 
些 保 护 措 施 , 即 讨 论 Newton 算法 的 几 种 修正 策略 . 


4.2 Newton 算法 的 改进 


1. 车 出 现 情形 {1) ,可 改变 寻 查 方向 ,采用 最 速 下 降 方向 替换 Newton 

方向 , 即 取 
Pi = ~ gi 
2， 车 出 现 情 形 (2) , 即 gips 实 0, 当 
qip: > els,l: lel 〔 非 正 交 ) 

时 ,显然 Newton 方向 非 下 降 方 向 ,但 其 反方 向 pi = -Ps = 人 8 为 下 降 方 
向 , 故 可 沿 此 方向 进行 搜索 ; 

3， 若 出 现 情形 (3) , 即 车 过 大 ,我 们 采用 对 步 长 组 尼 的 办 法 , 令 


Xi = Fe + Pis 
其 中 心 E (0,11, 可 导致 上 ,1 < 及 ,a 称 为 近代 步 长 的 阻尼 系数 ,可 由 下 
面 的 算法 给 出 . 
算法 4.2( 子 程序 ) 
设 交 ,Bishi,5 >0 已 给 定 ， 
DD 置 a=1; 


加 计算 =x* +ap,， 
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f= Ax); 
辐 检查/<f? 
是 , 令 as =a,fi,! = 所 返回 主 程序 ,计算 x ,1; 
二 检查 Ial <s? 
是 ,停止 计算 { 算 法 失败 ) ,否则 转 @; 


地) 置 a= 了 了 , 转 @. 


4， 若 出 现 倩 形 (4) , 即 gip; =0, 在 实际 计算 中 , 当 
[gipil < sels,l . lp,l 
时 , 即 说 明 BP 几乎 与 8 正 变 ,显然 此 时 的 Newton 方向 ps 是 不 利 方向 ,可 
改变 近代 方向 , 令 pi = -gi 
综合 上 述 讨 论 , 得 到 下 面 改进 的 Newton 算法 . 


算法 4.3 
呈送 zo,5 >0， 
加 置 k=0; 
计算 gg 和 G6,: 
守 ， i = 1,2,.…,n, 
Gy 下 i = 1,2, ns 

四 检查 det(G,) =0? 

是 , 转 忆 ; 
(3) 计算 p; = -G7 "8 ;或 解 方程 组 GP = 一 
命 检 查 lgipil<slg8l :|piil? 

是 , 转 名 ; 
加 检查 gp >elg| 1? 

是 , 转 她 ; 


二 执行 算法 4.2; 

加 置 Xi0 = + Ps 

从 执行 第 2 章 算法 2.3 ,不 满足 五 - 终 上 上 法 则 转 雹 ,否则 转 邮 : 
中 置 和 = 上 +1, 转 品 ; 

器 置 p= -8 , 转 名 ; 

曲 置 PP = -Pp,, 转 电 ; 

中 置 x = 

二 Stop. 
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4.3 特征 值 法 (Greenstadt 方法 ) 


由 4. 1 的 分 析 可 知 ,Newton 法 往往 由 于 Hesse 抢 阵 Gtx) = V(x) 
不 满足 正定 变 求 (或 者 甚至 奇异 ) 而 遭 到 破坏 ,因此 强迫 Hesse 矩阵 正定 
是 修正 Newton 法 的 一 条 重要 途径 . 下 面 介绍 的 特征 值 法 即 是 利用 Hesse 
气 阵 的 特征 值 系统 来 构造 正定 手 阵 的 一 种 方法 . 
定理 4.1( 实 对 称 官 阵 的 谱 分 解 ) 设 恕 为 实 对 称 算 阵 ,A,(i=1,…， 
£) 为 的 特征 值 ,wu,(i=1,…,n) 是 对 应 于 ;的 特征 向 量 , 刘 


G = VAT. 
证 ”由 题 设 知 Gu, = Au i= 1,,n), 《4 —4) 
Ci 
令 Gs | (4 -5) 
人 
其 中 (i=1,…,n) 是 GG 的 第 i 行 , 放 由 (4 一 4) 和 4 -5) 有 
Gn, = AN (ij = 1,.,n), (4 一 56) 
其 中 i a ey 


由 于 wlm=1,…,n) 组 成 R" 上 的 一 组 基 ,于 是 对 于 每 一 个 7 均 存 在 一 组 
实数 Wn Cm=1,…,n) ,使 得 
G = Tun, (4 -7) 


由 (4 -6 和 (4 一 7) 
> Wan; = A 


再 由 ai=1 ,nn) 的 正 交 性 , 知 
wu = A Ci = 1, ,n), 【4 一 8) 


中 


综合 (4 -5),(4 -7) 和 (4 -8) 式 得 
如 = PAu, 
推论 4.1 设 台 为 实 对 称 阵 , 且 det(C) 了 0, 则 
GG = 并 Ar 《二 9) 


证 由于 @ 为 实 对 称 阵 , 且 G” 亦 为 对 称 阵 , 且 特征 值 系统 为 
A7 (i =1,…,n) 是 G 的 特征 值 ， 
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za，( = 1,…,n) 是 对 应 于 Ai 的 特征 向 量 . 


故 由 定理 4.1 知 
:7 WMH, . 
根据 上 述 定理 及 推论 ,我们 可 以 就 一 个 实 对 称 阵 来 构造 与 之 相应 的 
正定 阵 . 


证 如 为 非 帝 异 的 实 对 称 阵 ,其 特征 值 系统 是 
Ai 关 DD 人 二 Ta) 是 如 的 特征 值 ， 
下 (= 1,…,R) 为 对 应 于 ;的 特征 向 量 ， 
则 = 5 1A lu 
为 正定 矩 阵 , 且 当 G 正定 时 ,6 =G. 
设 G 为 实 对 称 阵 , 令 83>0 为 一 正 小 数 , 设 
y, = max! | 和 ,| 8}, i= 1,2,.…,n, 


则 G = TA 
为 正定 阵 , 且 


= 
亦 为 正定 阵 , 显 然 , 当 局 正定 时 , 则 G,G” 不仅 正定 , 且 
G = G，G- = 
根据 以 上 讨论 ,形成 Greenstadt 特征 值 法 . 
算法 4.4 
中 送 x0,6>0; 
中 置 帮 =0; 
地 计算 和 局, 
二 用 寡 法 计算 G, 的 特征 值 A;” 和 特征 向 量 ul (j=1,,n); 


Ch) 


命令 三 1 (j=1 pe n); 
lu 


命令 Y=max| 1A,1,81 Ci=1, ,hn), 
仿 计算 G-! =- Ts 1 Pt 
二 


计算 P= - Gr 8 ,成 解 方程 组 
Gp = — E+ 
多 执行 算法 4.2 后 返回 主 程序 时 ; 
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从 计算 x,,， =Xe 十 人 有 
他 执行 第 1 章 算法 1.3 ,或 者 转 信 ,或 者 转 吉 ; 


各 置 上 =k+1; 
必 置 二 Fs} 
Stop. 


4.4 Newton 算法 的 G 记 和 Murray 修正 方案 


1 等 征 值 法 由 主 在 每 一 个 选 代 步 利 用 6; 的 特征 值 系统 来 构造 正定 
矩阵 


6G = Dyut uy”, 
因此 计算 量 是 很 大 的 . 事实 上 ,对 于 大 多 数 问题 ,只 是 在 少量 迭代 步 双 ， 
G, 才 不 能 保持 正定 . 1972 年 Murray 对 Greenstadt 方法 作 了 进一步 修正 ， 
即 仅 当 G, 非 正定 时 才 构造 正定 阵 G4. 基本 想法 是 , 当 G, 正定 时 直接 对 
G, 实行 LL" 分 解 ; 当 G, 非 正定 时 ,用 正定 矩阵 G, = G, +D, 代替 G,( 其 
中 DD, 为 对 角 阵 ) ,并 对 G 实行 LL' 分解 , 即 
全，= LLi. 

构造 工 , 时 ,应 注意 如 下 几 点 : 

《1) 不 需要 先 给 出 DD 去 直接 分 解 G6, = G+D,, 而 是 利用 G, 的 元 宫 
及 一 个 正 小 数 8 >0 去 构造 工 , 的 元 素 ; 

(2) 构造 下 三 角 阵 工 , 的 元 束 时 , 需 满足 1 >0, 从 而 保证 工 , 正定 ; 

(3) 要 求 工 ,的 下 三 角 部 分 元 素 (i <j) 有 界 , 从 而 保证 算法 的 稳 
定性; 四 

(4) 当 G, 正定 时 ,G, = 工 工 - = 于 工 : =G,. 

下 面 给 出 对 6; 进行 L,L! 分 解 的 算法 . 

算法 4.5 

给 定 台 = (gy) (ij=1,…,n) 及 5>0. 

一 、 计 算 工 阵 的 第 一 列 

OD 计算 判别 数 B: 

(1) 计算 =malgsl GG=1,2,…,n-1); 

(2) 计算 &= max ,61; 

(3) 计算 y = max lgsl; 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


第 4 章 Newton 方法 及 其 改进 1 


(4) 计算 8=max[,| 主 ] | 


国 计算 辅助 阵 也 的 第 一 列 { 下 三 角 阵 ) ; 
(1 计算 六 = smax | 全 ,| gl 人 | : 


(2) 时 (i=2,.…,n). 


加 计算 判别 数 8= max 11,1; 
轩 计算 (i=1,…,n); 
若 8 志 B, 令 =， 
车 8>B, 令 


1 = 7 
月 

时 _ Br 

i, gs 

二 、 计算 鞋 阵 的 第 二 列 至 第 rn-1 列 

人 置 j =2; 

加 计算 =max(8,1y,17), 其 中 y= g,- Dil. 

中 车 j=n, 转 区 ， 


iY . - 
地 1， = 二 (ww a plot) (了 
i m=l 


了 


(i = 2,.,n), 


合计 算 8= max 上 1 

国 计算 Ll (=j.… ,1); 
车 0<pB, 令 =[， (i=j ,nn)i 
车 68>B, 令 


加 置 =-j+1, 转 @@ 
三 、 计 算 二 的 第 = 列 


加 计算 名 =max(5,17,1) ,其 中 = ee 一 人 om 
人 @ 返回 主 程序 . 
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1 2 
例 4.2 设 G=| ， |] ,G 非 正定 , 试 对 G 实行 IL" 分解 


解 < =2,¢=2,y=1,8=1, 
i = max(5,1) = 1， 
i, 3 
i 
因为 9 = 2, 
i 8 > BB, 
所 以 i = 22， ba = 1, 
L, = maxj| 6，| g;; s ea = maxi$,0| = 8, 
一 2 0 
故 L | 中， 
a 4 2 
GG= LL = . 
必 | 


例 4.3 设 G= 为 正定 阵 , 试 对 它 实生 FF 分 解 . 


解 t=1,¢=1,y=2,8=2, 
并 max(8.42) = 起 ， 
六 = 1 2 
2 六 v2 | 9 
= max(h, ,1,) = 2， 
因为 和 < 理 ， 
所 以 ls = 4 和 ds b, 三 | 
ee ee 
ls = maxji5， | gaa -i 17| = max|5.( 2 一 司 }= 全 8 


算法 二 和 (Cill-Morray 算法 } 
中 送 初 值 zi 
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加 置 站 =0; 
(@) 计算 g, 和 GG,: 
: af{xXi) . 
gr 人 =1,2,,n, 
sy ofx) 
加 六 全 Be x 1, = 1 2, ,a 
二 执行 算法 4.5, 计 算 工 , 的 元 素 : 
加 解 方程 组 
8 = -8,, 
Pi = -Gr 8 ,或 计算 p，， 
吧 ) 解 方程 组 


Lip, = 如， 
中 执行 算法 4.2, 计 算 ou 
令 Ki = + 
加 执行 第 2 章 算法 2. 3 ,不 满足 豆 - 终止 法 则 转 四 ,否则 转 血 ; 
@ 略 于 上 =+1, 转 号 ; 
名 Stop. 
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前 面 叙 述 的 优化 算法 ,如 梯度 法 (最 速 下 降 法 ) ,Newton 法 都 有 自身 
的 局 限 性 . 梯度 法 程序 简单 ,计算 量 小 ,但 收敛 速度 很 慢 { 线 性 伍 速 ) ; 
Newton 法 虽然 收 伊 速度 较 快 (二 阶 伍 速 但 对 初 值 的 依赖 较 大 , 且 有 第 4 
章 中 所 陈述 的 种 种 缺陷 . 
共 斩 方 向 法 似乎 分 于 梯度 法 和 Newton 法 之 间 , 它 具有 超 线性 敏 速 ， 
而 且 迁 代 公式 比较 简单 ,只 用 到 目标 函数 及 其 梯度 值 ,性 兔 了 二 阶 导数 的 
计算 ,从 面 减少 了 计算 量 和 存储 量 , 因 此 它 是 比较 有 效 的 最 优化 方法 . 


5.1 共 固 方向 
定义 5.1 设 4=(a,), 为 对 称 阵 ,p，(i=0,1,…,m,m <n) 为 n 维 
向 量 组 , 若 
(psp)s =PAp =0 (iz¥)), (5 -1) 


则 称 p，(i=0,1,… ,mm) 为 4 一共 罗 向 量 系 . 

显然 , 关 刀 =T, 则 变 成 正 交 的 定义 ,可 风 共 思 是 正 交 的 推广 ,或 者 叫 
做 和 点- 正 交 ， 

下 面 叙 述 44 - 共 堪 向 量 系 的 一 些 性 质 . 

定理 5.1 设 (1) 4 =(a,), 为 对 称 正 定 阵 ; 

(2) pi (i=0,1,…,m) 为 4 - 共 红 向量 系 ， 
则 向 量 系 p，{i=9,1,…,m) 是 线性 独立 的 . 

证 设 相反 ,tp,| 线 性 相关 , 则 存在 不 全 为 0 的 c， {i=0,1,'…,m) 


使 得 

eo (5 — 2) 
以 4 分 别 左 乘 人 45 -2) 式 得 

Schp, = 0, (5 -3) 
从 而 有 p’ (DeiAp, ) = 0, 1 = 0,1,,m, 
即 5 ep’Ap, =0, j=0,1,,m, 
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由 假设 (2) 有 

cpiAp, =0, j=0,1,,m, 
但 是 Pj; 0， pAp, > 0(4 正定 ). 
地 c=0, 7=0,1,..…,m, 
这 与 假设 矛盾 ,得 证 . 


定理 3.2 谍 (1) 生 =(ayyus 
《2 及 天 0 =01 1) 为 和- 共 恩 ; 
(3) 3 与 pt=0,1mm-1) 为 4 一 共 斩 ， 


刚 =0. 
证 由 定理 5.1,p， (i=0,1,… ,nn 一 1) 线 性 独立 ,并 构成 及" 上 的 基 
底 , 故 若 vz#0, 则 
召 = Top,, (5 C4) 
其 中 ce，(j=0,1,…,m) 不 全 为 0, 用 pi 有 4 (i=0,1,…,.n-1) 左 乘 (5 - 
4) 并 由 假设 (2) 得 
piAv = DepiAp, 
=cpiAp, (i=0,1,.…,n-1), (5 =5) 
由 假设 (3) 知 pAv=0. 
据 (5 -5) cip'Ap,=0 (i=0,1,.…,n-1), 
由 (5 一 4) 知 , 若 wz#0, 则 <， (=0,1,…,n 一 1) 不 全 为 0， 
故 有 pAp,=0 (i=0,1,.…,n—-1), 
这 与 假设 矛盾 . 所 以 v=0. 
定理 5.2 指 出, 若 4 对称 正定 , 则 R 中 至 多 有 rn 个 不 同 的 4 - 共 斩 
方向 ， 


定理 5.3 设 (1 4 对 称 正定 ; 
(2) 性, 天 0 (= 人 ,1 1) 为 - 共 斩 方 向 系 ; 
(3) v E R" 为 任意 向 量 ， 
则 v= 之 
证 由 定理 5.1, 癌 量 系 吕 夫人 {i=0,1,…,n-1), 于 是 构成 BR” 中 
的 一 个 基底 . 故 对 YymwE R 有 


vy = DP, (5 —7) 


ep, (5 ~ 6) 
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用 pi4 (i=0,1,…,n 一 1) 左 乘 (5 -7) 得 
n=1 
piAv = De prAp, = cpiAp,, 
1=0 


_ piAv 
本 piAp, 
将 ce 找 大 (5 -7) 式 即 得 (5 -6). 


5.2 共 罗 方向 法 


由 于 非 线 性 目标 函数 在 极 小 点 附近 可 以 用 正定 二 次 函数 去 远近 , 因 
此 二 次 函数 的 极 小 化 的 有 区 算法 是 拘 造 一 般 非 钱 性 目标 函数 极 小 化 算法 
的 基础 , 为 此 ,我 们 首先 讨论 正定 二 次 函数 的 共 斩 方向 法 ,然后 推广 到 一 
般 的 非 线 性 函数 上 去 ， 
设 二 次 正定 函数 
f(x)} = Fx Ax + hx+e, 


其 中 4 对称 正 定 ,用 (Cz) = 六 (xX) =A4x +H, 显然, Ar 在 及 中 唯一 的 全 
局 极 小 点 为 "= - 丰 3, 且 
巡 (T” ) = 0. 

在 第 2 章 所 述 的 下 降 算法 2.1 中 ,着 令 下 降 方 向 p(k=0,1,…) 为 
共 斩 方向 ,并 且 a 由 精确 的 一 维 寻 查 确 定 , 便 得 到 关于 正定 二 次 函数 的 
共 恩 方向 法 . 

算法 51 给 出 x' 的 初始 近 秘 x。 

二 计算 go = gx0); 

鲍 构造 mm 满足 gopo <0; 

轩 令 上 =0; 

地 计算 a ,满足 

fxs + or pi) = minf x + ap.)i 
辐 邻 ,=X + oD; 
过 ; 检查 天 = 一 1? 
是 ,输出 x,,, :停止 计算 ; 

加 计算 P, ,满足 Pei4pP =0 (j=0,1,… ,上 ); 

令 上 = 上 +1, 转 人 @. 

算法 5. 1 上 其 有 如 下 两 个 特点 : 

(1) 一 维 寻 查 的 步 长 因子 as 可 用 公式 表 出 : 
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T 
DirB: 
= (5 - 8) 
piAp, 


事实 上 ,将 二 次 函数 记 x) 在 x*; 处 展开 ,有 


fx + op) = (xi) + oplgs + FplAp: = la). 


由 中心 es) =0, 有 Dig: + os piAp, =0, ‘S$ -9) 
由 (5 -9) 解 出 上 即 得 (5 -8) 式 ,在 (5 -8) 式 中 ,车 令 p, = -8 即 得 第 
二 童 (? -17) 式 . 


(2) 算法 具有 二 次 收 敏 性 , 即 对 和 仔 意 选取 的 初 值 mm ,至 多 选民 nn 步 
可 达 碎 x) 的 全 局 极 小 点 详 述 于 下 面 的 定理 . 
定理 5.4!( 共 斩 方 向 法 具 二 次 收 敏 性 ) 设 
(1) 任 取 x 三 下; 
(2) p(k=0,1,… ,Rn 一 1) 浆 4 - 共 因 向 量 系 : 
(3) zz=12，…) 由 算法 5.1 产 生 , 刚 存在 某 个 闫 和 nm 使 守 。 
= 二 - 
证 如 前 所 述 
: - PB - _ PA, 2 b) 《二 -10) 
priAp, Pigp, 
而 在 (3 -10) 中 ， 


二 一 上 


PTI(Ar + 6) =piAx, + pib = piA(xo + act 站 ) +pib 
7=0 


点 一 
=piAxs + 3 opiAp, + pib = prAxo + pib, 
上 = 站 


piAxo pib 


所 以 人 一 一 三 {5 —11) 
' piAps piAp, 
于 是 由 (35 -11;) 得 
n=] mn-l 一 下 
piAxo Gd ‘6) 

三 + ;三 0 一 Fi? 

Eo Xn 名 wp n 和 pAp,®’ - piAp, i 
(5 ~ 12) 


据 定 理 5.3 简化 (5 - 12) 式 为 
x = Xk -A b=-A4 b=x. 
如 果 对 于 给 定 的 x。 及 po, 怡 好 
;=0 (k=m+1l,",n—1), 
则 Tr 
上 述 定理 表明 ,对 于 任意 选取 的 x。, 至 多 先 代 次 便 达 到 所 x) 的 和 极 
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小 点 ,在 特殊 情况 下 ,算法 还 可 提前 终止 . 

综 上 所 述 , 对 于 正定 二 次 蚂 数 的 共 示 方 向 法 (算法 5.1), 可 示意 
如 下 : 

给 定 xzo ,选取 下 降 太 向 p。 (gpo <0) ,计算 

TT = T+ apo 
gopo 

~ plApo 

从 x 出 发 ,选取 共 地 方 向 p,(piAp, =0) ,计算 


TX = x+ oop, 


giP! 
2 piAp, 
一 般 地 ,从 ,出 发 ,选取 共 示 方 向 pp {piAp;=0,j=0,1,-…,k-1)， 
计算 
Tint = + op (k=0,1,.…,n—-1), 
gips 
其 中 Se pilAp, 
将 算法 5. 1 中 的 终止 法 则 和 作 适当 的 修改 便 可 得 到 适合 于 一 般 函 数 的 
共 轰 方向 法 . 


下 面 进一步 讨论 共 箔 方向 法 的 性 质 , 这 些 性 质 中 ,有 的 为 构造 具体 的 
共 轿 方向 提供 工具 ,有 的 则 为 共 示 访 向 法 更 定理 论 基 础 . 

定理 5.5 设 (1) x。E 有 "人 尾 给 ; 

(2) 六 xX) 为 正定 二 次 函数 ; 

(3) pp，(i=0,1,… ,上 六 丰 一 共 示 系 ; 

[4 x 0,1,… ,+1) 由 算法 5.1 产生 ， 
则 gp =0 (i=0,1,.,k), 
即 gi LE = Span| Po pi, ,pel. 

需要 指出 ,只 要 as 是 由 一 维和 寻 查 确定 的 , 则 由 第 3 章 (3 -2) 式 ,8 ,Ps 
=0 (Ek 关 0) 不 论 包 x) 是 否 二 次 孙 数 ,也 不 论 |p;! 是否 起 共 e 系 均 成 立 ， 
但 车 玉 x) 为 正定 二 次 函数 , 且 1pe+ 为 4 共 谣 系 , 则 有 更 强 的 结果 , 即 定理 
5.5 的 结论 (二 维 情形 如 图 5 -1 所 示 ). 

证 因为 g(x) =Ar+b. 


T 


所 以 ginp, = (Ax,., 二 十) 如 = (4 (x + 到 ap, | +5) P 
J=i+l 


二 
=giup, + DS ap, Ap. (Oi<k), 《5 — 13) 


7=#+*+l 
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Ag -yea) 


2 
> F007) 
BalLi=-span{Pyo, Pl} 
图 5-1 
又 因 gup: =0 (i>0), 
且 册 假设 (3) 
pAp. = 0 {i 站， 
于 是 由 (5 ~- 13) ,得 
giup.=0 (i=0,.%,k-1), (5 - 14) 
而 J = 0， (5 -15) 
综合 (5 一 14; 和 (5 -15), 得 
grup: =0 (i=0,.,k), (5 -16) 


定理 5.6 设 (1)f:R" 一 R 在 R" 是 严 冤 凸 函数 ; 
(2) f(x) 在 R" 内 有 一 阶 连续 偏 导数 ; 

(3) 为 大 xz) 的 无 约束 极 小 点 : 

(4) ze E R" 尾 给 ; 

(5) p，(i=0,1,-…,k-1) 在 R" 内 是 线性 独立 的 ,并 记 


| 
Te = Xo DS a,p,, 
1 = 炸 


El 
M, = {se R"|x = xX 十 并 wp |， 
| 


则 f(x) =minKz) 的 充 要 条 件 是 


Br: 1 L, 一 span | po ,PI sa Pe! (5 17) 
二 维 情形 下 (如 图 5 -2 所 示 ) ,定理 的 结论 可 表 为 :f(x;) = minf(x) 


的 充 要 条 性 是 
B(x 十 NM, 《 时: A L,), 
证 ”必要 性 设 x 是 族 x+) 在 线性 流 形 x=x。+z 上 的 极 小 点 ,其 中 
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oq Potay pl 


图 5 -2 
ZE =span|po,Pp Br! ; 则 所 XY) 在 Xx; 点 洪 尾 何方 向 导数 为 0， 
即 gx zz = 0, (5 ~ 18) 


由 此 即 得 45 -17). 

充分 性 车 zuE 村 满足 

gip,=0 (i=0,1,…,k-1), 
现 谷 证明 x*; 是 玉 x) 在 册 , 上 的 严格 极 小 点 , 即 对 于 
YrxreM, (XX , 

有 FX) < N(x). 

设 相 反 , 对 YXx E 时， (天 ze 有 

Ar) EAx,), 

轩 为 A 
由 上野 , 的 定居 有 


故 TT- 2 PD,, 

即 x = XxX,+ ai 了， ta = GE oi). 

再 由 假设 (1) 、.(2}) 及 第 1 章 定理 1.11, 大 2 严格 凸 的 充 要 条 件 为 
rz) > Ri) + BX x) 二 Te) + gr 2 op = f(x,), 
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这 与 假设 也 年 ,定理 得 证 . 

由 定理 $5.5 真 定理 5.6 立 即 可 得 二 次 函数 共 箔 方向 法 的 一 个 极 汶 重 
要 的 性 质 ， 

定理 5.7( 扩 展 子 空间 定理 ) 对 于 正定 二 次 函数 矿 x) :由 算法 31 
所 产生 的 点 是 放 x) 在 MM,= 1x ER Ix=x, +z,z EE spanpo 
Bi 上 的 唯一 极 小 点 

事实 上 ,本 定理 既 符合 定理 5.5 的 条 件 , 又 符合 定理 $.6 的 条 件 . 由 
定理 5.5 的 (5 -16) ,有 

sg: LL, = spanipo pis'™ Pil. 
妥 由 定理 5.6 的 (5 -17) ,得 
FX) = mi 

注 《1) 定理 5.7 表明, 对 于 正定 二 次 函数 大 *) ,用 共生 方 向 法 求 
极 小 点 x" E R" 的 过 程 实际 上 是 子 空间 span i pe, ,… Prt1 的 逐次 扩 
展 过 程 : 

x 是 产 z) 在 利 上 的 极 小 点 (1 是 过 xz 县 平行 于 加 的 直线 ); 

xX; 是 f(x) 在 训 , 上 的 极 小 点 (型 : 是 过 x 且 平 行 于 子 空间 span | po， 
,| 的 趋 平 面 )( 见 图 5 -2); 

x.=x 是 f(x) 在 讶 ,上 的 极 小 点 (MH, 是 这 x 且 平 行 子 子 空间 
span |posP:，… :Pp,-1| 的 超 平面 ); 

(2) 车 2 =0, 则 x 是 FX) 在 L = span {posPi:… ,Pr1i 上 的 极 小 
在 - 而 =x" 是 六 x) 在 R" 上 的 极 小 点 . 

车 x EE spanfpo ,pi :Pi = 工 ， 则 =T (m<n), 这 就 是 定理 
5.4 中 所 提 到 的 算法 提前 终止 的 情形 . 


5.3 共 罗 梯度 法 


5.3.1 正定 二 次 函数 的 基本 算法 


1. 页 罗 方 调 的 档 丫 

选 今 为 止 ,我 们 只 介绍 了 共 箔 方向 的 性 质 , 并 未 给 出 构造 共 扬 方向 的 
具 笨 方法 . 下 面 我 们 仿照 Gran - schmidt 正 交 化 过 程 , 介 绍 一 种 构造 共生 
方向 的 方法 : 


设 fx) = FAx +b'x+c 《4 正定 )， 
给 定 xXo; 服 Po = — Pos 
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计算 
= oo 十 copo, 其 中 wa。 由 下 式 确 定 
| gopo 
2 poApo 
对 于 如 ,本 请 = -gg +Bs Po, 其 中 Bo ”利用 (pi,po) 4 =0 确定 如 下 : 
0 (goPo)a 
Bo 7 (pepo 
计算 
| xz 二 大 十 ap， 其 中 由 下 式 确 定 
| _ SIP 
对 于 x, 取 p= -8 +Bi po +BD pi, 其 中 Bo ,Bi 利用 (ps,pi)a =0,j 
=0,1 确定 如 下 : 
(1) {Ba sp ) a .= 12. 
BB; (pp a 4 Lk 
计算 
T3 = Kr 十 oP:, 其 中 aa 由 下 式 硝 定 
| 有 82 且 。 
piAp; 
车 已 构造 出 和 共 辆 系 
盏 g :五 oP : RT,, 
对 于 如 , 取 记 = BB: + y ptop ， (5 19) 
利用 (PisP,)a =0 全 三 人 ,1 ,… ,上 -1) ,确定 
{gisP)a ,. 
人 = OO,1,. 一 (5 — 20) 
Bb (pisPi) y | 
计算 
Ki = T+ Pr, 其 中 oa, 由 下 式 确 定 
2 BD: 
”prAp, 
重复 上 述 计 算 , 直 至 和 =n-1 为 止 ; 
2. ps 计算 公式 的 简化 
应 当 注 意 ,在 (5 -19) 中 ,可 以 证 明 
B'™ = 0, j=0,l ,mk -2, 
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从 而 可 得 p, = - g. + Bp 

事实 上 ,利用 g(x) =Ax +5, 可 得 

Bl — 8, = (AX +h) — Ax, + hb) = A(X, —- x) = Amp, 
(j=0,1,.,k), 


即 Ap, = (gr 8g) 4 (5 -21) 
利用 (5 -21) 改 写成 0 的 表达 式 (5 -20) ,其 分 子 为 


1 1 
(gb) 一 (BesAp,) = 一 《全 ) 一 -一人 (有 8 
tr ot 


(7 =0,1,m -1), (5 - 22) 
又 由 (5 -19) 中 = -p+ FB"p,, 
于 是 (8 8 ) =— (gp;) + 之 Bi (gisp;). (5 ~ 23) 


当 j<* -1 时 (BD,) =0, 社 且 

1-] 

8” {girp) = 0， 
由 (5 -23) 知 (8,,8,) =0, j<k-1. 

及 由 (i,841) = (84,81) =0 (<A-2) 及 (5 -22). 
得 (gi Dp,) a = 0, jk 一 2, 
据 (5 -19) 和 (5 -20) ,分 别 有 
B'™ = 人 ,j=0,1,… ,万 一 之 ， 

P: >— gz: + Blips, 
或 Pp = -BR +B Ps, 
一 -8 二 人 
二 pidpy 


其 中 Bi 


3、 共 斩 樟 庆 法 

根据 1.2 两 款 的 讨论 ,归纳 共 恩 梯 庶 法 如 下 ， 
算法 5.2 

亿 任 给 zm RR"; 

加 取 po= -go =b -Aro; 

二 对 让 =0,1, ma- 分别 依次 计算 

Bips 
pirAp, 


Til = T+ Bi 


tr 一 一 
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Bi = Rr + dp,, 
piAp,” 
Pi = — Bi + Be Ps 
由 5.3.1 第 1 款 知 ,我 们 是 在 假定 1p, | 为 苍 方向 的 前 提 下 来 构造 
Hp 的 ,因此 由 算法 5.2 所 生成 的 方向 系 {p,| 为 共 绒 方向 系 ,从 而 经 
步 迭 代 所 得 x*, 为 正定 二 次 函数 x) 的 全 局 极 小 点 . 


5,3.2 基本 性 质 


B: 


”定理 5.3 算法 5.2 中 所 出 现 的 两 组 向 量 系 1p ,1g8;| 有 如 下 关系 : 
(1) jpi| 是 有 4 共 二 系 ; 
(2) |g| 是 直 淆 系 ; 
(3) [pei 18 ,满足 美 系 式 
(Buspi) = 0, 7 <&, 
(Piesg) = (pisBi), jdk: 
(4) p=0,1,…,m) 是 x 村 的 下 降 方 问 . 
证 (1) 如 前 所 述 , 结 论 (1) 显 然 成 立 ; 
(2) 在 简化 5; 的 计算 公式 的 推导 中 ,有 
(B48)} =0, (jk-1 或 j < k)， 
袁 结 论 \2) 亦 成 立 ; 
(3) gip;=0 (j<) 已 在 定理 5.6 中 得 证 , 现 待 证 
pig, = pg (i < k). 
事实 上 ,pig = Pi(g, + oAPp) = (pig; + apeAp,). 
车 j <, 据 (1) 之 结果 有 piAp, =0. 故 有 
pigin = Pig,, 
念 j=1,2,…,E-1, 有 


plg: = pig, = … = pigst = pies, 
于 是 Pig; = Pig: (i < EE). 
(4) gip, =gi( -Bi +B pt) CSE) 
= gig + 有 SP = -gels<0 C=0,1,.,m). 


由 第 一 章 定 义 111 知 p， {=0,1,…,m) 是 + 处 的 下 降 方 向. 
定理 5.9 在 算法 5.1 中 ,关于 系数 
piAp, 


全 一 一 
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BrnAdp, 
Bi = 1 3 
PrAp, 
还 可 以 用 如 下 交替 公式 
el 
”piAp, 


Bn (gi 一 及 


B, = 【Polak - Ribiere 公式 】 
le; | 四 
2 
let (Fletcher - Reeres 公式 让 
|g, |; 
证 因为 -glip,= — gl( -8 -Bi py:) =Big, = gl;, 
AE 
所 以 Oy = 
"piAp, 


1 i 1 
包 因 为 Ei.iAp, =—gi ,1 (Ri, — gr) =—pi (Bi — 1) = 一 | 有 外 
Lx tr Os 


1 了 1 
piAp, = 一 pg - 8) = 一 Big = —lis,l;, 
oY. Cy Cy 
T 2 
Fil CR = E.) | 下 上: 
所 以 = 了 
Le NE 
根据 上 述 性 质 ,改进 算法 5.2 如下: 
算法 5.3 
二 任 给 xn 全 及 "; 
四 取 P = -8o =b -Axo; 
地 对 上 =0,1,-…,n 一 1 ,计算 
gip, ls 


性 上 3 一 


piAp, piAp, 
Ti = 让 上 + a Pi, 
Birt = Br + Ap,, 
Bib: _ Blu(Bin -81) _ Nel 


piAp, gs |: | g, a . 
Pin = Bin + BePr: 


5.3.3 一 般 函 数 的 共 辆 梯度 法 


上 


1，PRP 算法 (Polyok-Ribiere-Polak ) 
算法 5.4 
二 取 初 始点 xzo 
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他 置 取 名 = -gk=0; 

加 求 oi@,y 合 x tap) =min f(x, +oap,):; 

志 计算 如 =X + ps 

加 计算 gi = 有 天 

估计 算 且 = 

lg ||; 

个 计算 pes = -wl 十 有 Pi; 

他) 置 声 = 天 +1, 转 他、 

显然 ,对 于 一 般 的 连续 可 微 晒 数 来 底 ,PRP 算法 构造 的 寻 查 方向 p， 


应 满足 
CRP) 《8 | e， | :. 
这 表明 当 gg; 关 0, 则 在 x 相沿 了 P 的 方向 导数 取 负 值 ,从 而 p; 总 是 下 
降 方向 . 


对 于 正定 二 次 枫 数 来 阅 , 由 于 

(gistsPi)s = Bil Ben - Bi) = lg i;, 
记 裔 EE 

|g, 1: 

而 在 算法 PRP 中 , 若 B, 的 计算 公式 用 上 式 代 蔡 , 这 就 是 所 谓 的 FR 算法 
(Fietcher ~ Reves) ,这 两 个 算法 对 于 正定 二 次 函数 来 说 是 等 价 的 ,对 于 一 
般 自 标 说 数 , 两 个 算法 每 进行 一 次 磷 忙 的 计算 量 也 大 栖 相 同 , 但 计算 效果 
有 了 时 却 会 有 不 小 的 差异 . 一 般 来 说 ,PRP 算法 优 于 FR 算法 ,有 兴趣 的 读 
者 可 以 参阅 参考 文献 [24]. 

还 需 指出 , 若 扎 *) 满足 一 定 条 件 , 则 PRP 算法 具有 全 局 收 微 性 , 即 从 
任意 初始 点 x 出 发 , 按 算 尘 产生 的 点 列 , 或 者 终止 识 者 收 合 于 玉 X) 在 BR 
上 的 唯一 极 小 点 x ,而 且 还 可 进一步 证 明 其 收 就 速度 为 线性 收 合 . 

2. PRP 算法 的 返 转 策略 

对 正定 二 次 函数 来 说 ,由 于 PRP 算法 是 一 种 共 思 方向 法 ,因此 具有 
二 次 收 敲 性, 即 从 任意 初 值 出 发 , 迁 代 步 后 可 达到 极 小 点 ,而 实际 情 沈 
是 ,算法 可 能 提前 终止 , 即 送 代 m 步 (m<n) 后 ,x 便 是 让 x) 的 极 小 点 ， 
此 时 *" 会 spanj po 了 Pn_1! = ;或 者 由 于 会 信 误差 的 影响 ,千代 也 
可 能 退 后 . 此 时 需要 重新 调整 方向 . 

至 于 一 般 肾 数 , 如 前 所 述 ,PRP 算法 很 可 能 只 是 线性 收 区 .如 果 在 选 
关 这 程 中 ,目标 肾 数 始 鲜 不 能 用 二 次 明 数 较 好 地 近似, 那么 收 鳄 慢 的 原因 
可 归结 为 目标 酌 数 “性 态 不 好 ”, 但 已 妈 有 出 于 表明 .即使 对 于 性 态 很 好 
的 函数 ,算法 仍 可 能 收 化 很 慢 ,这 种 情况 的 出 现 , 只 能 归结 于 我 们 的 策略 
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不 佳 , 即 当 过 代 已 进入 二 次 函数 的 区 域 后 ,未 能 及 时 找到 几 个 共 元 方向 ， 
此 时 亦 需 重新 调整 初始 寻 查 方向 ， 

我 们 知道 , 共 生 梯 度 法 构造 共 斩 方 向 系 时 ,关键 步骤 之 一 是 到 负 梯 度 
方向 作为 第 一 个 寻 查 方向 ,因此 当 算 法 出 现 收敛 缓慢 时 ,可 采取 重新 置 贷 
梯度 方向 的 措施 来 加速 收 伍 ,这 就 是 所 谓 的 返 转 策略 ,这 个 过 程 示 意 


如 下 : 
下 一 开 一 1 
Po p, P,-_1 
Xo XL x 
ps = -g, 了 pi 
Xl =x, x 2 x 


实践 表明 ,进行 n+1 次 迁 代 后 再 返 转 比 进行 = 次 选 代 后 再 返 转 更 为 
有 利 , 故 可 改 为 如 下 过 程 : 


Po PP; Ps-_i p 

Yo TI 2 ~ El 

ps = -gs pi p's pp! 

x x 


算法 5.5sta 砂 重新 开始 的 PRP 算法) 

人 到 zn 置 上 =0; 

加 计算 g = V/A(x); 

加 车 z=0, 停 止 计算 , 否 则 车 

Pp: = -8 + BPr, 
0， 当 皇 是 二 的 整数 倍 时 
其 中 Bi SCS Bit) 
gi 和: 
加 求 i, 使 fxs + pi) = minf(x, + ap); 
全 置 x = ai 
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加 置 上 = 上 +1, 转 人 @. 
框图 见 图 5 -3， 


置 初始 点 x6, 置 精度 要 求 


六 丰 
计算 #0=8 Croy 


求 王 使 得 
fro Pomin{f tar pa 0} 


| 
大 十 1- 大 


计算 有 一 Cr) 


之 
BUBB Ds b= 
“tip 1 下 
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6.1 尺度 矩阵 意义 下 的 最 速 下 降 方 法 


本 章 介绍 一 种 在 实际 应 用 中 更 具有 可 操作 性 的 改进 Newton 法 , 即 拟 
Newton 法 ,或 称 变 尺 度 方法 . 首先 我 们 扩展 下 降 方 向 (第 1 章 定义 1. 11) 
的 概念 , 引 人 人 尺度 录 阵 意义 下 的 下 降 方 向 及 最 速 下 降 方 向 . 

设 1:5CR" 一 R', A(x) 在 点 六 EE 3S 处 可 微 .p E R" 是 已 知 的 非 零 问 
基 ,4 为 正定 对 称 业 阵 , 对 Ys >0 有 


lim + ep A = < VHAR)p >, = VE) Ap. 


据 Cauchy-Schwars 不 等 式 有 
VAR ,PY Ss Ev AEN pls, 
即 | VE) AP < vA ,: lel (6 -1) 
当 取 户 = 一 不 "了 ( 主 ) 时 ,因为 <VICR),pP>4= VI(X) Ap = 
-上 上 玉 A#) ;<0, 据 下 降 方向 的 定义 , 称 p 为 作 x) 在 下 E535 寻 (在 甩 尺 
度 逢 阵 意 义 下 ) 的 下 降 方 向 ; 另 一 方面 当 PP = -44 YE) 时 ,不 等 式 
《6 - 1) 成 立 等 号 ,1V A(E) Ap1 达 最 大 值 ,因此 我 们 称 P 为 凡 x) 在 ES5 
处 (在 4 尺度 撼 阵 意义 下 ) 的 最 速 下 降 方向 . 显然 , 当 刀 =E( 单 位 奸 阵 ) 
时 ,p= -E VAE)= -YA72) 是 Frz) 在 ES 处 的 最 速 下 降 方向 (所 
尺度 结 阵 意义 下 》. 
根据 土 述 扩展 了 的 有 最速 下 降 方 向 的 概念 ,梯度 法 、Newion 法 议 及 本 
章 介绍 的 氢 Newton 法 都 是 在 不 同 尺 度 和 矩阵 意义 下 的 最 速 下 降 法 : 
1， 梯 度 法 (4 = 互 尺 度 和 矩阵 意 义 下 的 最 速 了 下降 法 ). 其 适 代 公式 是 
Ti = 二 AAP; 
pr =- Vf), (6 -2) 
A,: F(x, + AiPi)y = min f(x + APi)}. 
在 式 (6 -2) 中 ,PP 为 f(x) 在 x 处 的 负 梯 度 方向 , 亦 即 在 EE 尺度 知 阵 意义 
下 的 最 速 下 降 方 向 ,由 于 Ps 构造 简单 ,因此 收 敏 速度 慢 ( 线 性 收 伍 ) 
2. Newion 法 (4 = 6, 尺度 矩阵 意义 下 的 最 速 下 降 法 ). 其 选 代 全 
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式 是 
Ti = + A DL, 
ps =- Gr V f(x,), (6 -3) 
A Fx + ALP,) 三 min f(x + Api), 
在 式 (6 -3) 中 ,Newton 矩阵 G, = V f(x,) -|| 为 正定 对 
称 阵 ,p; 为 /(x) 在 zx; 处 的 Newton 方向 , 亦 即 在 4 = G, 尺度 矩阵 意义 下 


的 最 速 下 降 方 向 . 

Newton 法 虽然 收敛 速度 快 ,但 由 于 存在 G; 计算 量 大 , 道 阵 G7' 计算 
用 难 , 且 硒 选 代 过 程 中 不 能 保证 Ge" 的 正定 性 等 等 问题 . 在 实际 应 用 中 
可 操作 性 较 差 . 

3， 报 Newton 法 (4 = 五 , 尺度 矩阵 意义 下 的 最 速 下 降 法 )， 

现在 我 们 要 构造 一 种 新 的 算法 , 它 尽 可 能 保持 Newton 法 收 伍 速度 快 
的 优点 ,而 避免 Newton 抢 阵 求 赣 的 计算 . 为 此 引 人 新 的 选 代 和 矩阵 序列 
| 五,} 用 以 替代 1G7'| ,不 仅 要 求 吾 ,= G， , 且 五 , 易于 计算 . 具 吾 , 形式 的 


拟 Newton 法 的 迭代 公 这 是: 
Xin = T+ AAs DP,, 
Dp: = -HH, V A(x), 


(§ —4) 

A fx + ALD) = min f(x, + Api), 
H,, = H, + AH,, kk = 0,1,.. 

在 式 46 -4) 中 ,p, 为 所 Newton 方 阿 , 亦 即 在 吾 , 尺度 矩阵 意义 下 的 最 速 

下 降 方向 ; 吾 ,,, 为 修正 矩阵 ,4 豆 , 为 收 正 项 . 要 求 H;,, 具 有 如 下 性 质 : 

1， 满足 所 Wewton 方程 , 即 吾 , ,y=5; ;其 中 
SB = Ki — Kes Pe = Bi — Bi = VY AXE) - YY AY). 

容易 验证 Gss = 了 4, 即 Gy =s4( Grn 满足 拟 Newton 方程 )， 

因此 ,要求 吾 ,, ,满足 拟 Newton 方程 ,也 就 是 要 求 耳 ,, 通 近 Gi ,所 
Newton 法 了 世 因 此 得 名 ， 

2. 具有 遗传 对 称 .正定 功能 . 即 是 说 若 豆 , 对 称 正定 , 豆 ,,, 也 应 对 称 
正定 . 因为 G,, ,为 对 称 阵 ,从 而 Gu: 亦 为 对 称 阵 ,因此 要 求 吾 ,必须 是 对 
称 阵 ;要求 五 ,正定 是 为 了 保证 P 成 为 下 降 方 向 ,从 而 保证 选 代 算法 的 
下 降 性 质 ， 

修正 项 A 吾 , 的 构造 与 百 , ,s,,y》 有 关 , 其 结构 由 具体 算法 确定 ,通常 
可 分 为 以 下 两 种 结构 : 

1. 对 称 秩 1 结构 (SR1) 
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AH, = gzr', Tankrzz ) = 1, 
其 中 常数 g, 列 向 而 zz 与 吾 ,,s, ,3 有关 - 
例 &1 对 称 秩 1 校正 公式 (简称 SRI 校正 公式 ) 
3R1 校正 公式 首先 由 Daicon (1959 年 ) 提 出 来 的 ,后 来 经 Broyden 


(1967 年 ) 改 进 形成 如 下 公式 : 
H,,, = H, + AH,, 
AH, = (3, 一 Hy,) (5, -Hys) (6 ~ 5) 


< Ss, ~ Hy,,y, > 

该 公式 满足 拟 Newton 方程 , 自 具 得 人 心 对 称 性 功能 ,但 并 不 能 在 一 般 
情况 下 具有 遗传 正定 性 功能 . 但 由 于 它 对 正定 二 次 函数 具有 一 些 很 好 的 
性 质 , 因 而 受到 广泛 的 注意 . 

2 对 称 秩 2 结构 (SR2) 

AH, = ors + oww, 

其 中 常数 oi ,os 及 列 向 而 zw 仍 与 互 ,,s7 有 关 . 在 SR2 校正 公式 中 ， 
最 县 欢迎 的 是 DFP 公式 . 

例 6.2 DFP 公式 

该 公式 首先 是 由 Davidon(1959 年 ) 提 出 来 的 ,后 经 Fletcher 种 Powell 
(1963 年 ) 做 了 改进 ,形成 如 下 的 公式 : 

H,,, = H, + AH.,, 

Ss (Hy ) (Hy.)" (00) 
5 了 

DEFP 公式 不 仅 满 足 拟 Newton 方程 , 自 具有 遗传 对 称 正定 性 功能 , 它 
还 具有 其 他 一 些 好 的 性 质 ,成 为 梯度 方法 中 最 受 欢迎 的 公式 . 


6.2 DEFP 公式 及 DFP 算法 


6.2,1 DFP 公式 及 其 基本 性 质 
在 SR2 公式 的 一 般 形 式 中 


H,,, = H, + 0,27 + gw, wi, 
1 1 
令 好 1 一 > ER = Hy,, 
便 得 到 著名 的 DFP 公式 (6 -6) 
ss {H Hy,)" 
H,,, = H,+ Ek Hy,) yi) 


saps yiH,y, 
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将 式 (5 -6) 找 人 式 46 -4) 中 便 得 到 完整 的 拟 Newton 法 造 代 公式 
纵 定 初始 向 其 Xx。 及 初始 矩阵 如, = 了 对称 正 定 ) , 接 如 王公 式 选 代 ， 
(Xi = XE + AiPi;: 其 中 


pp. = 一 在, VY Ax,) =- Hg,k =0,1,.…, 
AA Se ws 1 
) a= fx +t ALPL) = min f(x + Aps), (6 -7) 
H,,, = H, + AH.,, 
Ss (Hy) (HyY,) 
点 五， 一 TY EE: 
SY Pull,y, 


下 面 我 们 首先 纵 出 DFP 公式 (6 -6) 的 一 些 基 本 性 质 ,然后 给 出 实现 
迭代 公式 46 -7) 的 DFP 算法 . 

DFP 公式 46 -6; 具 有 如 下 性 质 : 

性 质 1 五,, ,满足 拟 Newton 方程 ， 


因为 Hi ,ys {Br 


siys yiH,y, ' 
gp) (CH,y,) (yrH,y,) 
= Hy + 二 T 
Si .Hy, 


=H,y, +s, - Hy, =s,, 

由 下 得 ”五 ,FY =#;; 即 坟 ,, ,满足 拟 Newton 方程 . 

性 质 2 忌 ,., 具 有 遗传 对 称 、 正 定性 功能 . 

在 式 (6 -6) 中 , 设 车 右 , 对 称 , 则 由 矩阵 sis; 及 (Hy) (Hy)" 的 对 
称 性 ,可 知 吾 , ,为 对 称 和 矩阵; 车 五 ; 正定 ,可 条 证 明 开 ,,, 仍 正定 (证 明 见 
6.2.2 定理 6.3). 由 性 质 2 知 , 车 给 定 的 初始 矩阵 五 , 对 称 正定 , 则 公式 
(6 -6) 计 算 的 任何 吾 , 都 是 对 称 正定 矩阵 . 

性 质 3 公式 (6-65) 渍 足 非 正 交 条 忻 , 即 对 YEk>0,815y; #00,31 ys 
0. 

因为 x -X=A PP, = -Hg,, 

所 以 Sy = (X40) 一 区 ) (gi — Bi) = (AL Pi) (Bi 一 号 
=APpIg — A PiBs = -Ae PrBs Pig: = Brnpi =0) 
=A(H,E) Bg, = ABrH,g,. 

又 因为 A>0, 帮 对 Yg, 天 0, 由 玉 ; >0 得 到 giH,g, >0, 即 seyx > 人 

由 于 页 , 正定 , 即 对 Yy 0,y: Hy, > 0. 

非 正 交 条 件 又 称 为 式 (6 -656) 的 存在 条 件 , 它 保证 矩阵 移民 过 程 可 以 
进行 下 去 ， 
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6.2.2 DFP 算法 


在 使 用 选 代 公式 46 -7 了) 进行 计算 时 ,由 于 计算 中 售 人 误差 的 影响 ， 
特别 是 在 计算 步 长 因子 4; 时 ,执行 一 维 寻 查 不 精确 的 影响 ,可 能 会 破坏 
渤 代 目 阵 H; 的 正定 性 ,从 而 导致 算法 先 效 , 为 保证 吾 , 的 正定 性 ,可 采取 

1， 一 维 寻 查 之 后 ,函数 值 不 下 降 时 , 重 置 豆 . 为 单位 乍 阵 ,然后 继续 选 代 . 

2. 仿效 共 轧 梯度 法 , 迁 代 n+1 次 后 , 重 置 初始 点 和 赤 代 和 矩阵 , 即 置 
xo = H, = 了 以 后 重新 进 民 (参看 框图 6 -1). 


给 定 xp 
Np), Fo= WE) 


一 维 寻 查 加 
YI 一 to Po 
=f ee) 


(HopoH( HpyoD 
poHoyo 


r+ 
Ti 


下 十 1 十 于 
A ed 


图 5-1 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


84 上 篇 ”无 的 率 最 优化 方法 


算法 6,1(DFE 算法 ) 
设 目标 函数 扎 *) ,x* EE R", 右 终 引 法 则 中 的 误差 限 为 el ,ss 和 s，. 
WD 给 定 初始 点 xo; 计算 所 =X0) ,B80 = f(x)， 
加 置 H, =1,po = -go ,k=0; 
图 计算 fOr + ALP) =minf(x, + Ap:); 
四 计算 Nir XA PEs fi = ri); 
加 判别 天 ,| 兰 nr 
是 , 转 钨 ;否则 转 介 ; 
合 着 ££=0, 则 转 欠 ;否则 转 避 ; 
忆 计 算 8 = f/x)， 
加 判别 瑟 - 终 正法 则 是 否 满 足 ? 
是 , 则 转 曲 ;否则 转 仓 ; 
全 计算 y=Bi1 一 9 = 一半 1} 
加 若 上 =m, 则 置 z = 所 = 广 8 = 有 5: 转 已 ;否则 转 加 ; 
四 计算 百 ，- 豆 _ (Hy) (Hay) 
Sed yuH,y, 
Prr = — HR 

@ 置 kh=k+1,p; =P 8 = Bi fh 转 ; 

打印 x 

Wh Stop. 

例 6.3 用 DFP 算法 求解 min { x1 + 4x2|. 

解 下 本 =(LD7,E =7=|。 让 

0 1 

第 一 次 选 代 ,DFE 算法 与 梯度 法 共有 相同 的 迁 代 点 *, ,在 第 2 但 2.3 中 已 
作 了 计算 ,结果 如 下 : 


二 [ | g(x) = V(2r,,8x2)7, 


xo = (1,1)', go = (2,8)", 
x = (0.738 46, -0,046 16)", 
g) = Vfx) = (1.476 92, - 0.369 23)", 
以 下 用 DFP 算法 作 第 二 次 和 进 代 ， 
so = x -Xo = (-0.26154, -1.046 16) ， 
yo = 8g -go = (-0.52308, -8,369 23)", 
so CHoyo) Caoyo) 


了 


3030 yo Hoyo 
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其 中 Soy = 8, 892 35, 
加 再 yo = yy = 70.317 62, 
0.068 40 0.273 61 
-| | 
0.273 51 1.094 45 
0.273 61 4,377 78 


CHoyo) (CHoyo)” = 而 ,Jo 有 = yy = ; 
" " i 全 70. 044 01 


所 以 
ft = a I 69 0.030 区 rn 89 0. 062 26 ] 
0 1 0.030 77 0.123 08 0.062 26 0.996 11 
-| 1.003 80 -0.031 - 
-0.031 49 0.126 97 
选 杞 方 问 pi= -Hg =(-1.494 16,0.093 40)", 
按 正 定 二 次 函数 一 维 寻 查 公 式 计算 4; 
二 pig, = 0. 494 23, 
BiAg! 
所 以 Xs = x + AP = {0.000 00,0.000 00)7, 


又 因为 8: = YY fxs) = (0,0) ,目标 函数 为 正定 二 次 函数 ， 
所 以 x 是 本 问题 的 全 局 极 小 点 . 


6.2.3 DFEF 算 法 的 二 次 收 误 性 质 


定理 6.1 设 目标 函数 f(x) = TAs +brx+c, 其 中 47=A,4A >0， 


对 六 Xx) 施行 算法 6. 1, 如 果 : 

(1) 初始 矩阵 下, 是 对 称 正定 的 ; 

(2) 和 迭代 点 是 互 异 的 ， 
出 (1 由 算法 6-1 所 生成 的 选 代 方向 jp (i=0,1,…,k+1) 是 4- 共 
罗 问 量 系 , 即 

piAp, = O77 = 0,1,.. k+l; 

(2) 对 j=0,1,…, 训 下 式 成 立 :H,, AP, =P. 

本 定理 中 的 两 个 结论 可 以 用 数学 好 纳 法 证 明 , 由 于 证 明 过 程 中 需要 
用 较 多 的 辅助 等 式 , 故 证 明 从 略 . 

定理 6. 1 说 明了 DFP 算法 同时 是 一 种 共 斩 方 向 法 ,因此 具有 二 次 收 
侣 人 性质. 对 于 正定 元 二 次 函数 ,最 多 经 过 呈 次 选 代 就 可 达到 极 小 点 . 在 
例 6.3 中 ,目标 函数 为 正定 二 元 二 次 函数 ,从 初始 点 x= (1,1)" ,经 过 两 
次 选 代 求 得 极 小 点 za = (0,0) 
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还 要 指出 ,当选 代 一 直 进 行 到 = 次 才 结 束 时 , 必 有 五 ,. =A4“, 即 是 说 
迭代 矩阵 吾 , , 豆 ; ,…, 互 .,… 是 逐次 逼近 二 次 函数 头 x) 的 Hession 道 阵 的 , 
下 面 给 出 这 一 绪论 的 证 其 . 

引 理 6.1 设 4 是 = 阶 方 阵 , 和 ,加 ,… ,D5 是 线性 无 关 的 维 向 量 
组 , 若 对 于 j=0,1,…,n 都 有 


则 4 是 m 阶 单位 阵 , 即 秆 = 工 
证 “ 据 题 设 条 件 ,对 于 Ynm E R" ,闪存 在 c(i=1,…,n) ,使 得 


而 且 过 召 -4[ 工 cm] = VoAv = Tow = v= iv, 
] 1 


特别 地 令 v =e = (0,.,0,1,0 …;0) ， 
代 人 人 工 式 有 Ae, = Ie,, Fis 
序 A, = 了 了， j= 12, ,n, 
所 以 入 = 工 
定理 42 若 定理 6.1 的 条 件 均 满足 ,并 且 经 过 rn 次 迭代 达到 极 小 
点 , 则 五, = 入 ， 


证 ”在 定理 6.1 的 结论 (2) 中 , 令 下 =n-1l1 有 
HAp, =p,, j=0,1,",n-1, 
区 由 定理 6.1 的 结论 (1) 知 ,po ,Pi1,… ,Pp,_!: 是 4 一 共 轿 向 量 系 ,因此 该 向 
量 系 线性 无 关 , 于 是 由 引 理 6. 1 得 到 
HA = 工 
所 以 百 ，= 上 
将 例 6.3 继续 做 下 去 ,就 可 以 验证 定理 折 2 
在 例 6.3 中 已 经 求 出 
1.003 80 -0.031 49 
0 We 49 0.126 97 | 
x, = (0.738 46, - 0.046 16) ， 
g, = (1.476 92，- 0. 369 23)" 
x = (0;0)  ， g, = (0,0) ， 
凤 此 5 = x x = (~ 0.738 46,0.046 16) ， 
y, = 8, —&, = {- 1.476 92,0.369 23) ， 
ss (Hy I) Hy) 


H, = H,+ 
' si yiH,y, 
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其 中 5，= 1.107 69, 
y'Hy, = 2.241 24, 
。 0.545 32 -0.034 09 
Be 034 09 “0.002 13 | 
-1.494 16 
0. 093 39 
MW 273 61 4.377 78 | 
4. 377 78 70.044 01 


(Hy ) (BH,y,)" =| |{- 1.494 16,0. 093 39) 


所 以 
-| 1.003 80 -0.031 | 0.492 31 0 
” |_o.03149 0.126 97 -0.03078 0.001 92 
由 六 
a a ls 0 | - 2 
-0.06226 0.003 89 0 0.125 i 
因为 HA = 了 AH,=1, 
所 以 H, = 44 


在 6.2.1 性质 2 中 提出 吾 , 具有 遗传 正定 竹 功 能 ,在 下 面 的 定理 中 得 
到 证 明 . 

定理 和 3 在 DFP 算 法 中 , 若 初 始 矩 阵 是 对 称 正定 的 , 则 | 如 ;中 的 
每 一 个 矩阵 都 是 正定 的 . 

证 ”用 数学 归纳 法 . 当 上 =0 时 , 豆 。 是 正定 的 . 

假设 若 上 上 =m 时 , 召 , 是 正定 的 ,以 下 证 明 五 ,| 也 是 正定 的 . 即 对 于 
YzESR', 当 zz 时 ,总 有 

| Hz > 0, (6 — $8) 
据 DFP 会 式 46 -6) 有 
Sm (Hy } (HY) 

Say yiHy, 


m+i m 


将 上 式 代 入 (5 -8) 中 有 
(zs) {oH ys) 
Spm pH 
据 6.2.1 的 性 质 3( 非 正 交 条 件 ) ,在 式 46 -9) 中 ， 
yas > 0, ynH,y, > 0， 
因此 式 (6 -9) 总 是 成 立 的 - 
据 题 设 豆 。 对 称 正 定 , 故 存 在 对 称 正 定 矩 阵 工 ,。 使 得 


zH,, z=7H,z+ (6 —9) 
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H, = 工 工 ， 
此 时 zrHz= LL = (LL,2) (ELZ)， 
yoH oy, = (Lay) (Ly ), 
z' Hy, = (Ls) (Ly,), 
令 P=L,2, 9 = Ly, (6 — 10) 
得 到 Hz = pp, ynH.y, = qq, Hy, =p 4 
将 上 述 结 果 代 人 式 46 -9) 中 得 到 
有 = (PIG) ~ (Prg) Cs) 
qq ys 


， 《6 —11) 


分 两 种 情形 讨论 : 
(1) 当 p =A4;A 关 0 时 , 式 (6 -11) 中 的 第 一 项 为 0, 现 证 明 第 二 项 
一 定 大 于 0. 事实 上 , 据 (6 一 10) ,z=27;; 代 人 人 式 (6 一 11) 的 第 二 项 中 和 便 有 
ee) ON) ts) > 
Pa Ps 
(2 当 产 基 AE ,天 入 时 ,由 Cauchy-Schwarz 不 等 式 , 式 46 -11) 的 第 
一 项 大 于 人 ,而 第 二 项 非 负 ， 
综 上 ,对 Yzzr0,z 再 .zx>0, 却 互 。., 正定. 定理 得 证 . 


6.3 DFP 对 偶 公 式 及 其 等 价 形式 


6.3.1 DFP 对 侦 公 式 及 其 基本 性 质 


引 理 .2(Sherman-Morrison 公式 ) 设 #,vER ,A4 汶 rn 阶 方 阵 , 且 
detf 4 关 0, 刚 当 1+ 六 A WH 关 0 时, 成立 下 式 : 
有 vw 


(+ a (6 -12) 
-1 IT -1 
证 (六 Ww) (二 +Ww ) = 人 《站 +uv') {4 | 
= 了 二 有 一 uv = (uv A J 
1 +vw A uw 1+vA 
ua) vA) (uvA (uva ) 
1 + vA uy 1+vA i'n 


而 CavAT vA) =u vA = (uA ) (uwA )， 
故 (A+tuv) (A ruo) = 了 
T、-1 T 1 T 
同 理 可 证 (A +Wv) (4 +uv)= (4 -Ta mn) + uv ) 
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= 上 
定理 不 4 在 DFP 公式 (6 -6) 中 , 令 B, = 五， :B,, 1 = Hr, ; 则 有 


1 siB,s 1 
B,,, = B, + 人 + 一 与 ye - 环 一 (6 县 8 + (Bs,)y:), 


Piss 《isi) pis 
(6 — 13) 
称 式 (6 -13) 为 对 侦 DFP 公式 ， 
证 在 DFP 公式 (6 -6) 中 , 令 
SiS 
TT, = H, +——, (6 — 14) 
SF 
H Hy,)” 
有 H,,, = 了 一 . ye ( 2:) (6 一 15)》 
7 


因为 玉 , 正定 及 非 正 交 条 件 siy, >0, 所 以 于 亦 正定 ,必然 满足 非 奇异 条 
件 det(T,) 关 0, 所 以 应 用 引 理 6. 2 于 公式 (6 -15) 中 ,得 到 
中 TH (HY CCH) TY 
Bin ST ty TR) TB) 
由 于 五 ,,T， 背 正 定 , 式 中 第 二 项 分 母 太 于 零 ,保证 式 (6 -16) 存 在 性 . 
再 对 式 (6 -14) 应 用 引 理 6.2 得 到 
H's,srH,' 


T T + 
Sup + sed ,5, 


ri = Hy - 


由 于 st7 >0,55 且 ss >0, 故 该 式 成 立 - 

将 Ti 代入 (5 -16) 中 ,经 整理 可 得 (6 -13). 
对 偶 DFP 公式 (6 -13) 具 有 DFP 公式 相同 的 性 质 ， 
性 质 1 五, 满足 所 Newton 方程 B,,1s; = 了 
事实 上 ,用 5 右 乘 式 (46-13) 左 右 两 端 得 


T T 
s.B,s s.Bs 
Pim et 下 二 二 
Bus, = 天 8 十 
kk 天 让 


性 质 2 如 ,,, 具 有 遗传 对 称 .正定 性 功能 . 

在 式 (6 -13) 中 ,如 果 BB 对 称 , 则 因为 矩阵 mx 对称, 矩阵 (Bin ) 
+ (如 is)7: 对 称 ,立即 可 知 BB;,, 亦 为 对 称 阵 ; 若 B 正定 ,我 们 也 可 以 证 
明 8,,, 仍 正定 (类 似 于 65.2.2 中 定理 6.3 的 证 明 ). 

性 质 3 公式 (6 -13) 仍 满足 非 正 交 条 件 . 


6.3.2 DFP 对 惧 公 式 的 几 种 等 价 形式 
1， 对 称 形 式 
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T 下 
B,,, = (1 -Bl a 二 | 0 (6 - 17) 
和 


了 siBs, T yy (BS) _ (B,s,) yr 


BB, =B, + + 
Wp pe) yrs 了 有 
-8 EA psi Bs ys (Bs,) yr Bi 
了 《388 了 3 yi 


oowaeoaenl 加 -出 
由 


kk 


8T ar 了 
故 得 HB,,, = [学 "ja | 人 
条 pit VEL 
2，Powel 形式 
【了 一 Bs,) ys + PCY 一 Bs.)” (y; 一 Bly) ss T 
号 过 8, + T T 让 
Drsk 《了 


(6 -18) 
将 46-13) 适 当 变 形 


T T 
Ys +tsBs, 1 
二 地 (pCBss) + (CBs yx 


HB =B + ¥ 
wi (yrsey Pi 
—y,s, +srB,s 271s8 1 
上 
=- 有 
村 下 Ey 
. pis -siB,s, yi Ds -pCB,s,)  — (Bss) ys 
(yiss)” ys 
四 (Cy, —B,s,)'"s, I yy a (Bs ) ys 十 -y:(B,s,)" 
' (TS ss 
(Fs: — Bs, ) yr + Ce -Bs,)" Cy, —B,s.)s, T 
=B, tT ses 
BiB (is) 


由 此 得 到 式 (6 -18). 
以 上 两 种 形式 具有 对 称 ,便于 记忆 的 优点 ,但 在 DFP 对 偶 算 法 设计 


中 ,下 面 的 形式 更 为 实用 . 
3， 对 称 秩 2 的 形式 
B,,, = B,+ te - jigxgr ;其 中 
Hd 
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tf = CB, 一 二) 可， 十 Rils 


2 和 A. 
MB A (6 - 19) 
6, = yipr, 
D: = BrPs. 


在 式 (6 -13) 中 ,Si =Xi Xi = Psy BEtt BE: 
Bs: = AB, Ps: = -Ag ‘ps = 一 Hg,,B, Pp; = 一 如) ， 
将 $7 ,Bs 代入 {6 -13) 中 ,有 


T 

1 s 

B,,, =B,+ (一 二 A (ga 一 Be) (Bn 一 有 
证 (FPs) 


十 -一 人 (全 一 号) + Bik Bit 一 有) ). 


PP. 


邻 yD = 61,81P; = 和 ,有 


本 一 入 ,也 
B., = 五 ， i + gg ) 


1 6 — 2 
+ eS = | (BruBs + 有 Et) 一 BBt. 


因为 页 一 和 =yip, — AgiP, = (gs,1 -_gi) ps — ABID; 
= 一 8 一 人 这 下 = (1 +A ES 本 Be >0, 


入。 
I 


HB,, = 县 ， + 二 十 BBi) 
Ard 


宫 ， 一 广 2 
直 ee + gibi ) - FEB 
6, Hd, 上 


二 (8, 一 Dg + gin } CD, — 1)g; + Br) 一 BE 
再 令 所 = Cs, —1)8: +Br+l ,得 到 


1 
Bi = B, + slit i Bek 
iB 


6.4 DFP 对 人 情 算 法 


给 定 初 始 向 量 xo 及 初始 矩阵 B。 (对 称 正定 ) ,DFP 对 偶 算 法 如 选 代 
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公式 (6 -20) 所 示 : 
Ti = Te + ALP,, 
Pi:B.p, = — 8, 
Ar:min f(x + Ap.), {6 -20) 
B,,, = B, + AB, = 0,1,., 
其 中 AB, 由 (6 -13) 或 (6 - 19) 确定 . 
在 上 述 算法 中 , 氢 Newton 方向 p, 是 通过 解 线 性 方程 组 了, p, = -8 来 
; 确定 的 . 鉴于 如, 为 对 称 正定 和 矩阵 ,通常 采用 LDL 分解 方法 解 线 性 方程 组 
以 保证 数值 稳定 性 . 即将 B, 分 解 为 B, = 上 ,DP,k ,通过 解 两 组 三 角 方 程 
Lv, =— gpg, 
(is = Dv 
确定 pi 
为 了 提高 算法 的 效率 ,我 们 不 希望 每 次 近代 都 进行 LDL ' 分解, 而 是 
导出 工 , ,DD, 的 迭代 公式 ,直接 由 工 ,D, 计算 ;1,D,,. 
具体 地 讲 , 即 车 已 知 B= 上 ,D,Ii ,由 对 称 秩 2 公式 
B,,, = B, + oz + Tww 
求 出 吾 ,| 的 Cholesky 因子 荆 ,1,Di4i ,使 
B.,, = LisDinLr,. 


6.4.1 收 正 矩阵 瑟 ， 的 LDL™ 分 解 


1. 癌 题 的 提 法 
对 于 对 称 正定 个 阵 吾 ,可 以 实现 LDL 分 解 , 即 B= LDL' ,其 中 工 为 
单位 下 三 角 阵 ,号 为 对 角 阵 . 


bs hn 1 
D = diagt Gd ,dd,) 
可 > 0(i = 1,.,n). 
设 B" = 旦 + aw", 其 中 为 常数 ,rank(zz') =1, 求 下 的 LDL 分 
解 , 财 求 L ,Dp' 使 8" =B+oz =L*D*L'" ,其 中 工 ' 仍 为 单位 下 三 角 
阵 , 罗 “ 仍 为 对 龟 阵 . 
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在 上 述 问 题 中 ,我 们 不 希望 直接 对 8B" 进行 工 五 "工分 解 ,而 是 希 
望 通过 对 B 进行 LDL' 分 解 后 ,以 三 阵 和 了 吾 阵 的 元 素 去 递 推 开 * 阵 和 隐 * 
阵 的 元 素 . 


设 羡 =( 忆 ,… ,名 ) "是 三 角 方程 上 w=z 的 解 , 则 有 
B* =Bioz = LD+iovv')L’, 


因为 DD 对 称 正定 ,a >0, 故 了 +ovv" 亦 对 称 正定 ,车 对 +avv" 进行 


PDF 分解, 即 
D+romw' = LDL, 
于 是 BD = (LDDOTTLD) = (LDCLIT).. 


令 L" = 上 LL,D' -万 得 到 下 =L'D'L' ,显然 I”= 工 5 仍 为 单位 下 
三 角 阵 ;而 也”= 六 仍 为 正定 对 角 阵 . 并 且 计算 矩阵 也" 和 DD' 转化 为 计算 


其 中 Y= 了 ,了 i=1,2 ,nn 


2,… ,nn). 和 例如: 
了 三 n-2+1 = n -1 个 元 素 ; 
了 人 = (7 nm -3+1 = -2 个 元 素 ; 


了 时 Eis Uy da n-4+t= m 一 3 个 元 素 ; 


Cs n-n+1 = 二 个 元 率 . 
将 了 个 ,了 个 ,…, 四, 按 列 排列 起 来 : 
ts 
a 3 
2 I, | ，，， 
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恰好 组 成 三 的 下 三 角 部 分 {除去 主 对 角 元 素 1) , 叉 记 六 ?为 加 的 后 ni 


+ 1 个 元 京 组 成 的 向 基 . 


be A De er 

形 如 DT = ) 
m2) se 
vy = F 雪 了 ,型 ) Ls 
二 


~ 
dl = d+om, 


d= d+ [oe - DPBd), i=2,3, 
tal 
~ oD 
B= 
d, 
[9 ee 
le - Pid.) £ 
应 Es 一 i 235 ?型 


Eo 本 Ba, [i= 1 .2 ,… ,于 — 1]. 


公式 (6 -21) 的 计算 流程 图 忒 如 下 : 


{6 -21) 


已 知 dyd sy 名; 六，… ;0 , 按 箭 头 所 示 方 向 依次 计算 di， 


FE El 


A 


i A Ae Ca] a 
2 2 
i*B— [i = Brv = Bi {VV ,~ 


3 A ee er ee Ff 
dB 1 = Bu = B,D, ,0 0.) 3 


3. + ozz" 的 分 解 算法 


已 知 B=LDLT 日 下 =B+ow' , 求 B* =L' DL'", 


给 定 L,D,z,o >0， 

算法 不 2 

中 解 方程 组 志 7=z 得 a= (而 , 世 )7 
四 是 i=1; 
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由 = 了 +a (i=1); 


Hs 1 
d=d+n (oe- FPG) (>1). 
四 检查 i <n? 

A = 一 (i= 1)， 

dad, 
Ma 
dd, 
否 , 转 心 ; 

全 计算 EU =B.o""" = 及 下 ,区 
个 上 1 一 转 辐 |; 


@ 形成 志 阵 及 万 阵 ; 

图 令 工 ' = 工 亡 . 了 = 万 

4， B+ozz +oun 的 分 解 算法 . 

已 知 B,=LDL,H 8B,.,=B, + ott + os88I (CO ;02 di 8 为 已 
知 ) , 求 B" =L*DL*". 

掉 法 656.3( 子 程序 ) 

中 里 m=1: 

全 峡 初 值 5 =o ,LL=L,D=D,,y =b; 


二 解 Lv=y 得 v= (0 


外 时 i=1， 
d= di +o i= 1); 
{BD 计算 | 、 ls 
[i -ae (i > 1). 
地 检查 i<m? 
= (i=1), 
a. 
» El a 转 人 D， 
是 ,计算 (0 
Bb. = (i > 1), 
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否 , 转 吓 ， 


他 计算 Lm = 有 RD ; 
fi + 1 一 转 拘 | 

@ 形成 工 ,万 ; 

加 计算 工 ”= 工 三 ,万 ”= 万 ; 
加 检查 m=2? 


是 , 令 L=L”",D=D' ,返回 主 程序 (网 算法 6.3 的 曲 步 )， 
理 ,六 + 一 册 iors 一 G, 令 工 = 工 ” ,站 | = 卫 ” ,t=g, 转 加 . 


在 4.2 带 LDL" 人 分解 的 DIEP 对 偶 算 法 
算法 不 4 


和 ea. 
中 给 定 zfo ,计算 所 = fxX0) ,go = 有 (xzo) 
四 时 B= 了 ,并 对 B。 进行 LoDoLo 分 解 , 即 置 L, = 了 ,Do = 了 
辐 置 =0; 
LW = — gis 
加 解 Bp = - 晤 , 即 由 三 角 方程 组 | pp 
Lp,=D  v%,, 
名 求 和 :minf(x + Ap); 
@@ 计算 x =T + A pes 矿 = 矶 
全 刊 别 ,1 之? 
是 , 转 礼 ， 
否 , 转 加; 
车 =0 则 转 妈 ;否则 转 避 ; 
全 计算 gj, = gxi01); 
各 湖 别 吾 - 给 止 法 则 是 否 满 足 ? 


车 满足 , 转 吉 ;否则 转 吕 ; 

加 计算 y=gi 一 Xi Xi 

他 判别 =n? 
基 ,z 转 加 | 
否则 转 各 ; 


| 站 
篇 计算 站 = yips, I, = BiPis Ls 三 -一 一 二 一 ,所 三 (p38, 
6, —ALnL 
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已 知 久 x) 及 其 梯度 g(x),x E R ,五 -终止 法 则 中 的 误差 限 sl,ss 


-1)g, 
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+ + 


| 1 
3 计算 gq = 五 一 :oa = -prs 
iT 


上 ”让 
调用 子 程 序 ( 算 法 6.2) 对 下.， = B+ it + gs8484， 进行 
了 万 工务 解 ,并 念 工 = 工 , 厂 ,= 也; 
入 下 + 二 上 转 地 ; 
先 打印 ;记忆 
他 Stop. 
例 5.4 用 对 侦 DFP 算法 求解 min x 二 中 x ， 取 x=(1， 1 ， 
解 取 瑟 = 了 在 第 -一 次 和 欠 代 ,PDFP 对 偶 算 法 与 梯度 法 相同 ,其 计算 
结果 如下 : 
= [2 9], glx) = 了 (nso 
ls 
= (0.738 46, — 0.046 16)", 
g, = VHCxI) = (1.476 92, - 0.369 23) ， 
用 DFP 对 偶 公 式 (6 -131) 作 第 二 次 进 代 ， 
s = x x = (-0.26154, -1.046 16)", 
yo = gL -go = (-0.52308, - 8.369 23) ， 
i 
Jogo (yoso) 
将 以 下 各 式 代 入 上 式 的 右 端 得 Bi， 
ys = 8.892 36, 
suiBoso = soso = 1,162 85, 

a Bl 0.547 | 
2. 188 89 8.755 56 
网 136 81 2.188 
0. 547 23 8.755 56 
人 62 2.736 | 

2.736 12 17,511 12 


1 
B, = B+ ( je -Ly, (Boso)} + (Boso)y!). 
Barsn 


yo Boso) = yoso = 
(Boso) yo 3 sop 二 


T T 
os + SoFo 二 


1.0040 0.248 99 
B, = ， 
人 ! I, 248 99 7.937 70| 
解 方 程 组 Bp; = -81, 求 拟 Newton 方向 p=( 一 1.494 16,0.093 39)", 
T 
求 适 代 步 长 因 平 和 
PiAp, 
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xz = zi + AP = (0.000 00, - 0. 000 00)7， 
因 注 ;= (XY,) = (0,0)", 
所 以 x 是 本 问题 的 极 小 点 . 
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前 面 几 音 介绍 的 无 约束 最 优化 算法 都 需要 计算 且 标 函数 六 x) 的 梯 
度 ,但 在 实际 中 的 很 多 目标 函数 要 解析 地 计算 它 的 偏 导数 常常 是 很 困难 ， 
甚至 是 不 可 能 的 ,例如 :Xzy》 是 由 实测 数据 给 出 ,不 具有 解析 式 ; 入 x*) 的 
解析 式 过 于 复杂 ,不 便 计 算 其 偏 导数 ; Ax) 非 公式 表达 但 具有 和 解析 性 ,其 
偏 导数 只 能 用 数值 微分 公式 近似 计算 ;无论 六 zx) 是 否 由 公式 给 出 ,计算 
偏 导 数 存 在 病态 问题 等 等 . 

综 上 所 述 , 追 切 需要 引 人 一 种 直接 搜索 算法 ,实现 这 种 算法 不 需要 计 
算 偏 导数 ,甚至 不 必要 求 偏 导数 一 定 存在 ,只 需要 计算 扎 x) 的 值 就 驶 了 - 

常用 的 直接 搜索 方法 包括 : 

1， 坐标 轮换 法 (Cyclic coodinate ) 和 步 长 加 速 法 { Hooke-Jeeves 方 
法 ), 这 两 种 方法 适用 于 低 维 问题 ; 

2、 单 印 形 替换 法 (Neldes-Mead 方法 )，} 

3. 转 输 法 (Rosenbroek 方法 ) 以 及 D. 3 CC 方法 (Davies, Swahn,， 
campey) ,后 者 即 是 采用 精确 一 维 寻 查 的 Rosenbroek 方法 ; 

4. 方向 加 速 法 (Powell 方法 ). 
本 章 只 介绍 单纯 形 蔡 换 法 和 方向 加 速 法 . 


7.1 单纯 形 痊 换 法 


7.1.1 R" 中 的 单纯 形 


在 .1 中 的 定义 1.3 ,我 们 介绍 了 R" 中 的 单纯 形 , 它 是 具有 "+1 个 
顶点 的 后 多 面体 . 车 各 个 棱 相 等 则 称 为 正规 单纯 形 . 例如 在 R* 中 ,三 角 
形 是 单纯 形 ,等 边 三 角形 则 是 正规 单纯 形 . 

我 们 把 R' 中 的 单纯 形 记 为 :再 (fa , 台 ，, 加 ,其 中 本 人 =1,2，， 
n+1) 表 示 n+1 个 顶点 的 位 置 向 量 ;用 可 本 (=2.3， n+ j=1,2，…， 
1 1 家 示 百 (可 ,本 mms) 的 2 个 棱 ; 用 本 (=2,2，m+19= 
1 ,2,… ,i 一 1) 表 示 z 纪 的 中 点 . 

将 过 个 中 点 排列 成 下 表 ( 见 表 7 - 1)， 
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了 


za%, = mi 表示 中 点 退化 为 顶点 . 
为 计算 方便 之 见 ,单纯 形 的 各 个 顶点 及 楼 的 中 点 通常 用 斜 坐 标 系 
表示 :; 


vw = 站， ,0)" 表示 过 原点 的 顶点 : 


| 
w= 广 (0,…,0，1 ,0,…,0)" 表示 过 原点 的 楼 的 中 点 
,= 方 (0,…,0，1 ,0,…,0，1 ,0,…,0)" 表示 不 过 原点 的 楼 的 
中 点 ; 
1 {im1y 
一 ;二 于 = 了 (0， 0 


，1 :0,… 必 ) 表示 不 过 原点 的 顶点 
例如 R’ 中 的 单纯 形 HL(v, , 功 :加 (图 7 -1) a 


Th {1,0) 
Ti Ty 
oO,D) V0,1) 
图 7 了 -1 
1 
取 m =(0.0) ， vs = (1,0)", 
E 1 
vs = 了 (0,1) ， vs ~ 1,1), 
1 
全 = 怨 : = 可 (2.0) 二 (1 .07 ， 


多 = 二 (0.2)7 = (0,1)7. 
下 面 我 们 介绍 两 种 在 R" 中 构造 一 个 章 纯 形 的 方法 : 
1. 构造 正规 单纯 形 ! 楼 长 相等 ) 


给 定 正 规 单纯 形 的 一 个 顶点 z ER 及 边 长 s, 则 自 (w, 功 ,，…， 
mi 的 +l 个 顶点 , 按 公 式 47 -1) 计 算 ; 
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| os 

Dy = (p99) + Xo, 
TI 

芒 三 (9,P,9,""* ,9) + Yo. 


人 
{i-] 


mk 
vo = (C90 PP 1 + Ko, 


in} 主 
各 :1 = {9 ,9 ) + To, 


其 中 p= 一 Vn+l+(n-1)],g = rl-1). 


例如 n=2, 取 x = 《x ,x ) 7 


a 在 村: 
J = 【zt ,xs ) 了 


iD} 


em {0 T 
= (p+ xi ,+ x ), 


pt [0} 0 T 
th = + ,P+x ), 


OO 3+] > 3—-1). 
其 中 P ) ,9 ee 1) 
现在 证 明 由 式 (? - 1) 所 确定 的 单纯 形 生 (o,,…, 刀 ,1) 是 正规 单 
纯 形 . 
首先 将 式 (7 -1 改 瑟 成 如 下 公式 
vw = Xo, 
《了 一 了 ) 
=x +ai=2,.,n+1, 
其 中 维 向 量 


i217 
及 | 三 (gq,'"",g, Pp ,GE 


首先 ,对 1=2,3, ,+1 计算 


| 入 一 总 | = | Xo + T,Xo | : 三 | .A =p +tn-1)r = 8 
其 次 ,对 7 =2,3， ,n+1(i 关 7) 计 算 
-w=| -z= | 2 -20+ zl 
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= 28 -2zfz = 23 -2f2pg+(m-2)9)》=3， 


所 以 HI Dy ,9.4.1) 各 楼 相等 , 妈 为 正规 单纯 形 . 


2. 构造 非 正 规 单纯 形 ( 棱 长 不 全 等 ) 
设 s 为 开 Cv ,如 ，… ,0,,1) 的 某 一 边 长 ,n+1 个 顶点 按 下 式 计算 : 


VY = Ko, 
| (7 - 3) 


wT = Xo + se). 


易 知 Hw ,三 ,下 ) 为 直角 三 角形 , 直 关 边 为 s. 在 二 维 情形 下 ,由 (7 -2) 
和 (3 -3) 所 构成 的 单纯 形 分 别 如 图 7 -2, 图 7 -3 所 示 . 


2 
MY 
Xo 
0 x1 
图 了 -2 图 7-3 
算法 7.1( 构造 初始 单纯 形 ) 
QD 赋 初 值 ro,s; 


花 下 一 四 三 1 1-1); 
地 计算 p,2:P 1)],g 了 +1 一 1 


嘻 置 思 =xo; 

全 对 ;=2,3, +1 计 算 可 =2 二 5 

命 对 i=1,2,…,n+1 计 算 = 人.); 

全 对 2=1,2,…,n+1 计算 f= max {ft f= min lfil, 


v= Vi = h), vw = i=); 
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n+] 


OD 计算 有 (的 中 点 w= 二 了 u; 
及 


Stop, 

算法 7.1 不 仅 构造 了 初始 单纯 形 囊 (o ,Vw ,……,v,,1) ,而 县 分 别 计算 
出 该 单纯 形 的 最 好 点 站 目标 艾 数 值 最 小 的 顶点 ) 和 最 坯 点 wt 目标 函 数 
值 最 大 的 顶点 ) 还 计算 了 除去 最 坏 点 中 后 所 形成 的 请 -1 工 维 单纯 形 
和 (的 中 心 也 ,上述 工 作为 实现 单纯 形 蔡 换 法 
作 准 备 . 


7,1.2 单纯 形 蔡 换 算法 


单纯 形 奉 挤 法 的 基本 思想 是 ,在 R” 中选 定 一 个 初始 点 名 =*o, 按 算 
法 7.1 构造 初始 单纯 形 吾 ( 各 ,如 ,… 9,1) 并 完成 准备 工作 . 再 从 初始 单 
纯 形 出 发 ,采用 反射 .延伸 .压缩 .缩小 楼 长 等 四 个 步骤 形成 新 的 单纯 形 以 
替换 原 有 的 单纯 形 , 便 新 的 单纯 形 不 断 向 极 小 点 靠近 ,直至 接 索 到 极 
小 点 ， 

算法 7- 站 单纯 形 法 } 

已 知 : 目标 函数 A(x) ,终止 法 则 的 误差 限 为 . 

他 准备 : 执行 算法 7.1 得 到 六 

全 反射 步 (Refleetion ) ; 

计算 最 坏 点 内 的 反射 点 , 记 为 从 , 芒 = 圳 +Q( 如 一 轧 ),a>0( 常 取 
a=1); 

计算 亚 对 应 的 日 标 值 少 = )，; 

(1) 车 7 < ,反射 最 成 功 , 皮 于 耻 - 亚 方向 最 有 利 , 转 人 延伸 步 ; 

(2) 若 在 i=1,2,…,n+1(ih) 中 存在 某 一 个 记 , 使 /4 所 fi 除去 
最 坏 点 外 ,反射 点 不 比 其 余 上 所 有 点 都 坏 ). 此 时 反射 成 功 . 以 如 取代 驯 形 
成 新 的 单纯 形 


Ht{ VW, ,UI ,Uh 站 ); 


(3) 若 f5 > 了 ,i=1,… ,n+1,izh) ,但 /4 三 f (除去 最 坏 点 外 , 反 
射 志 比 其 余 所 有 点 都 坯 ) ,反射 不 大 成 功 , 转 人 压缩 步 ; 

(4) 若 了 4 >f.(i=1,…,Rn+1), 上 反射 失 峨 , 转 人 压缩 步 . 

仿 延伸 步 (Expansion) 

计算 反射 点 嘱 的 延伸 点 , 记 为 下 ,下 = 直 + 可 加) ,7 了 7>1( 常 取 
了 = 之 ) 5 

计算 fs =f(04); 
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(1) 若 <F, 延 伸 成 功 , 以 闪 取代 形成 新 的 单纯 形 
Ht | ,Uh ,Dh 1 ,Vu ) 


(2) 车 Af 之 f ,延伸 失败 ,但 车 fr < 了 i; 则 以 忒 取代 及 形成 新 的 单 
纯 形 


Hg ss) 
地 压缩 步 (Contraction) 
(1)》 若 属于 反射 步 情形 (3) , 则 计算 中 心 的 压缩 点 , 记 为 如 ， 
= 二 +B( 大 -十 ) ,8 E(0,1)( 常 取 B = 方 ); 


(2) 若 属于 反射 步 和 情形 (4) , 则 全 去 反射 点 中 ,计算 中 心 点 芒 的 压 
缩 点 中 , 令 


ve = +B(v, - 瑟 ) ,BE(0,1){ 常 到 有 = 了) 


并 计算 了 = 天 四)， 
车 A 所 min(f ,res), 则 视 压 缩 步 成 功 , 以 下 取代 功 : 形 成 新 的 单 
纯 形 


c 
Hiv ,Uh Oh 


车 ff > min(P fy) , 则 转 人 减 小 楼 长 步 . 
加 减 小 棱 长 步 


邻 亲 = 于 (aa +a)i = 1,… ,n+1) ,形成 新 的 单纯 形 召 (名, 名 ，…， 


多 ). 该 步 将 原单 纯 形 各 楼 长 碱 小 一 半 , 且 保留 最 好 点 tw 为 顶点 ,形成 
新 的 单纯 形 . 

在 上 述 各 步 又 中 , 当 形 成 新 的 单纯 形 后 ,再 重复 以 上 各 步 , 从 而 形成 
单纯 形 序列 ,使 之 朝 着 极 小 点 运动 . 

算法 7.2 的 终止 条 件 : 

在 执行 算法 7.2 中 ,每 当 得 到 一 个 新 的 单纯 形 有 (0 ,0 ,1)， 
检查 如 下 不 等 式 : 


二 工人 -Pa 
若 满足 , 则 结束 适 代 ;否则 继续 选 代 ， 
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1 n+l 


其 中 f= fv)f = 一 Tf 


在 及 的 情形 ,算法 7.2 中 的 食 一 鲍 步 如 图 7 -4 所 示 : 


DN “min) 
= 


下 面 给 出 的 三 个 框图 ,分 别 表示 算法 7.2 的 准备 步 (图 7 -5) :反射 、 
延伸 .压缩 和 减少 棱 长 步 4( 图 7 -5); 算 法 的 终止 法 则 (图 7 一 7). 


Le i 
叶 于 大] ,2, "…, at1 
计算 Ui=xptz) 


对 于 天 1,2,…,mH 
计算 =vD) 


图 7-5 单纯 形 法 的 准备 步 
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上 
一 


f= fri) 


是 ve= pt wR— py 
EJE) 


< 
百 
= ?并 人 二 1 
一 让 i 


否 


rt tp — Vr) 
C=C } 


Fmin( fi, AE) 至 
站 TAX 一 pr 
所 = 


对 十 二 1.2,…,nt1 计 算 Y =0. 和 vv) 


图 7-6 单纯 形 法 的 反射 .延伸 还 缩 和 减 小 楼 长 步 
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图 7-? 了 单纯 形 法 的 终止 法 则 


7.2 方向 加 速 法 


方向 加 速 法 是 由 Powell(1964 年 ) 提 出 来 的 ,因此 又 称 Powell 方法 . 
迄今 为 止 , 它 是 直接 方法 中 最 有 效 的 算法 . 
对 于 正定 二 次 函数 


f(x) = xTAx + Bx 4e, (7 -4) 


在 不 用 导数 的 前 提 下 ,Powell 方法 逐次 选 代 构造 4 共 元 方向 系 ,因此 
Powell 方法 本 质 上 属于 共 斩 方 向 法 ,具有 二 次 收 伍 性 , 用 于 非 二 次 函数 时 
一 般 也 具有 较 饮 的 收盘 速度 . 


7.2.1 基本 定理 及 Powell 基本 算法 


定理 7.1 设 ({1) 记 x) 是 形 如 {7 -4) 的 元 正定 二 次 隆 数 : 
(2) pi=0,1 :1m<a) 为 生 - 共 箔 向量 系 ; 
(3) 线性 流 形 了 肝 定义 如 下 : 

M= |xEeER' Ix = xX,+ Fo, pi E 及 "| ， 


则 jz) 在 于 上 的 极 小 点 xz 可 以 沿 着 每 一 个 方向 pi(i=0,1,… ,mm) 以 任 
意 次 序 进行 一 维 寻 查 而 得 到 .证 明 上 略 ) 
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这 个 定理 的 几何 意义 (三 维 情形 ) 如 图 7 一 8 所 示 - 从 如 所 及 出 发 ， 
依次 沿 PnP 作 一 维 寻 查 得 极 小 点 xy 1 仍 从 2 出 发 ,依次 沿 疡 :Po 作 一 
维 寻 查 仍 得 同一 援 小 点 Ya . 


图 7 -8 
定理 7.2 设 
(1) 所 Xx) 为 形 如 (7 -4 的 正定 二 次 函数 ; 
(2) 任 给 生生 RR" ,x ,x E R(x A )，; 
(3) 分 别 从 2 :za 出 发 , 河 方 向 ， 作 一 维 寻 查 得 到 极 小 点 #1 ,Wt 如 
图 7 -9 所 示 ). 
了 二 *¥| 十 ox v, bE 三 ,+ C2 可， 


a :minf(x, + av); a :minf( x + oar). 
企业 | 


他 让 = 了 有 一直, 则 wm=0, 即 与 玛 - 共 斩 . 
证 据 一 维 寻 查 的 性 质 ( 见 第 3 章 
{3 -2) 式 ) 有 


viix} v=0, VAx)'o=0. 
以 上 两 式 相 减 得 
DY Art) - VAX = 小 (7 -5) 
由 Ax) =A4x + 站 可 得 
VIR) -VAR) = A(x x) = Aw, 
代入 式 (7 - 53 得 
vAw = 0. 

上 述 定 理 为 Powell 方法 构造 共 罗 方 血 据 供 了 理论 依据 ， 

例 7.1 设 关 zx) = 六 zx ia) 为 正定 二 次 函数 ,给 定 三 个 线性 独立 
的 向 量 :&, = (1;0;0)7,8 = (0,1,0) ,有 = (0,0,1)", 任 给 x。E 及 ,从 
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Xo 出 发 , 按 表 7 -2 所 示 的 方式 作 一 维 寻 查 . 


末了 -2 
é, 二 t, 才 = 一 
| 
| x To +a X=) 工 ; 一 工 ; 十 ot, x =x tat 
To 
tty {ly ti ty 10D 《1 
tI = [RN = 去 3 = 专 € TX Xp 
x = x x = x x = x ri =x!) 
£1 I pil i etl} 115 pi1) 1} pil 
并 二 高 4 + a €| + Cw 基 : + oa “本 3 十 人 些 
(3) li (2) El (2) _ etl) (2 2) i) 
= 二 = é&3 = =X; Xn 
网 2 = 2 We x 0 
x = 
《2 pl2) 《2 peli2) t2} pi2) 【2 ef 
+ar 志 十 Ca 和 十 3 攻 3 十 CE 基 


第 一 轮 从 x。 出 发 ,依次 沿 才 ,#,,5， 作 一 维 寻 查 得 za ,再 沿 模式 方向 
=x, -2zo 作 一 维 寻 查 得 x,; 

第 二 轮 从 zi = 出 发 ,依次 沿 £1 ,5&1 ,6 作 一 维 寻 查 { 用 志 项 
替 ,) 得 x' ,再 沿 模式 方向 去” = zx -区 作 一 维 寻 查 得 x ; 

第 三 轮 从 x =xi 出 发 ,依次 沿 & ,5&0 ,5 作 一 维 寻 查 ( 用 去 
顶替 二, ) 得 xz ,再 沿 模式 方向 =x” 一 zt 作 一 Ne 

可 以 证 明正 定 二 次 函数 fx) 的 极 小 点 * "=x 

证 首先 证 明 向 量 组 & 人 ,#1 ,8 即 专权 ee 生 - 共 斩 方向 
组 . 事实 上 , 据 表 7 -2 可 知 ， 

从 zx; 出 发 , 沿 志 作 一 维 寻 查 得 到 zs, 又 从 天 0) 出 发 , 沿 大 ”= 专 作 一 
维 寻 查 得 到 x*;" , 据 定理 7.2， 


x 应 与 帮 4 一 共 轴 ; 
从 x 出 爱 , 沿 9 作 一 gg 叉 从 x 出 发 沿 关 ”= 专人 必 
一 维 寻 查 得 x , 据 定理 7.2， 


x 0 = 应 与 专 有 4 一共 思 ; 


从 xz 则 发 , 沿 直 "= 作 一 维 寻 查 得 x ,又 从 zx 出 发 , 沿 吉 ”= 
Ei = 去 作 一 竣 寻 查 得 人 


了 Cy LY pit) 
x x =x os 3 ) x a € ) 
= (x -0 ) + (a ED Ep 


号 【天 — xo) 十 Ce 一 全 ye 
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= 上 2 + (a -a )E'". 
据 定理 7.2,#” + 《a -a )#' "应 为 4 -~ 共 堪 , 即 
(EV + a -a ED ) AE =0, 
EAg+(a" -os )é'" AF =0 


由 吉 ”=0 得 EAE =0, 即 #0 与 5&4 - 共 亏 . 

综 上 ,EE ,8 互 为 4 - 共 生 , 亦 即 向 量 组 各 2 ,5 ,EE 为 4- 闪 
朱 组 . 据 第 5 章 定理 5.4, 在 表 7 -2 第 三 轮 维 寻 中 ,从 xz? 出 发 ,依次 沿 
,中 作 一 维 寻 查 所 得 x” 应 为 正定 二 次 函数 x) 的 极 小 点 , 即 


首 ” 二 第。 
将 例 7. 1 的 计算 步骤 和 结论 推广 到 nn 元 正定 二 次 函数 便 得 到 Powell 
基本 算法 . 


算法 7.3( 正 定 二 次 函数 的 Powel 基本 算法 ) 
设 太 x) 为 正定 二 次 函数 ,给 定 初始 点 下。 

QD 置 上 =0; 

四 SE =e (i=1, ,nn): 

二 对 5=1, 分别 计算 


x = Xt+ at,, 
| oi: minflxi, + ag:), 
四 令吉 =X, 一 To, 计算 
Fl = od, 
| On: minf(X, + af); 


他 ) 检查 k=n 一 1? 

是 ,XX ,Stop, 

否 , 转 四 

(@ Ee (i=1,2,.… ,nr—-1), 
FE, 
Tn rl Nos 
k++1 二 上 , 转 全 |. 


算法 7.3 如 表 ? 了 -3 所 未 ， 
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算法 7.3 的 特点 是 ,每 一 轮 寻 查 后 , 寻 查 方向 时 总 是 用 模式 方向 (加 
速 方向 送 蔡 换 志 ,形成 新 的 方向 组 专 ,所 ,… :用 但 据 定理 7.1, 维 查 方 辣 
的 次 序 可 以 任意 交换 , 故 采 用 依次 替换 的 方式 形成 新 的 寻 查 方 疝 组 :而 
E261 Ey bE 

从 理论 上 讲 , 通 过 mm 轮 寻 查 所 得 到 的 新 的 方向 组 应 为 4 - 共 罗 方 问 
系 . 但 是 在 实际 中 会 出 现 异常 现象 , 即 所 形成 的 新 的 寻 查 方向 组 非 4 - 共 
绒 方 向 系 . 甚至 是 线性 相关 的 ,即使 对 正定 二 次 函数 也 会 出 现 这 种 情况 - 

例 7.2 设 关 rz) =Fmvas) ,初始 点 zo, 极 小 点 寺 


如 图 7 - 10 所 示 , 由 于 第 一 轮 寻 查 产生 退化 x =x。, 致 使 者 ,吉成 为 
同一 方向 , 即 第 二 轮 寻 查 方向 专 各 , 夯 千 和 仍 是 同一 方 占 ， 即 是 说 搜索 
点 只 是 在 纵 轴 上 移动 ,永远 无 法 达到 极 小 点 *- 


图 7-10 
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7.2.2 Powell 算法 的 方向 调整 原理 


在 Powell 基本 算法 7.3 中 ,方向 调整 的 原则 是 ;获得 模式 方向 =x， 
-上 后 ,下 一 轮 寻 查 一 定 要 调整 方向 , 且 总 是 用 去 背 措 ,这 就 是 可 能 
产生 向 量 组 线性 相关 的 原因 所 在 . 因此 ,在 改进 算法 中 首先 给 出 方向 调整 
的 判别 准则 , 当 每 一 轮 获 得 模式 方向 =x, -zt 后 ,下 一 轮 是 否 调 整 方 
向 ? 区 替 换 谁 ? 均 由 判别 准则 来 决定 ,从 而 保证 每 一 轮 寻 查 方向 组 成 为 
“最 接近 4 一 共 思 "的 个 方向 . 
引 理 7.1 设 4 为 nxn 阶 短 阵 , 令 及 = 《4,49;,…,4,), 其 中 4 = 
[aiyaay a ) (i sl,2,.. , 吾 ) , 则 1dett4) | < [I | i | 了 
a 
证 及" = 其 中 a = (a,92,,° ,0 ) ， 


T 
性 


据 Hadamard 不 等 式 ,1det(47) 1 到 可 | ss | :， 
又 因为 tet(4) = det(47) , 且 | ea ©, = | a. 


所 以 1dett 4) 1 志 I | a; | ,. 
定理 7.3 设 (1) 4 是 nxn 对称 正 定 短 阵 ; 
(2) 志 (=1. ,5) 线 性 无 关 , 且 满足 去 4 =1( 称 5&1,…,&, 为 各 规 
格 化 向 量 组 ); 
(3) 念 下 =【( 上 ， 
则 1det( 全 )1 取 最 大 值 的 充 要 条 件 是 吉 (i=1,…,n) 汶 有 一共 红 系 , 即 
EAE, =0 (ij=1,,n), i 
证 设 才 人 =1 8 为 各 - 共 斩 上 且 4 规格 化 向量 组 , 即 
(0) = 1, WAn = 0 全 天门， 


令 = 六 bu 他， (7 - 6€) 
j= 


分 别 令 如 = (a ,… ,4,) ,其 中 必 , = (usta) ， 

V = Cn) 
据 (7 -6) ,和 = Vu (i=l,,n), (7 -7 了 7) 
所 以 下 = VU, 
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det( CY = det( VF) : det( UY). (了 — 8) 
下 证 ldett DD) | 过 1. 
据 (7 -7) ;后 = Vu ,AE =u(V AVN,, 


uh 
而 | : nt = 了 工 ， 
了 7 
所 以 wu,=€ A¢,=1, Wa |, =1(0i=1,.",n). 
据 引 理 ?.1 得 
[de |< ll: =1. (7 -9) 
再 由 式 (47 - 8) 立即 得 |det(X) | 所 | det(F)|: (7 ~ 10) 


综合 (7 一 8),(7 一 9),(7 一 10) 三 式 可 知 
ldet( 瑟 ) 1 取得 最 大 值 14ettF) 1 的 充 要 条 忻 是 1dett 50)! =1, 即 如 为 
下 浆 阵 (V0O=1) ;而 六 AX=(VU) A(VDO)=VYV(VAV)U=UV"'U, 因 此 


l,i=), 
idet( 五) 1 取得 最 大 值 的 充 要 条 件 是 XAX = 工 , 即 上 46 = | 亦 即 


# (=1,…,na)? 为 入 规格 且 盘 - 共 斩 向 量 组 ， 

据 上 述 定理 ,得 到 搜索 方向 蔡 换 的 判别 准则 : 

设 某 一 轮 争 索 方 向 沪 生 规格 化 向 量 组 

Esl Sr En), 
令 EE =【《 和 9 
| 

XX。 满足 1detCX。) 1 = max 1det(X,)1, 车 19et( 和.) 1 > det( 义 ) , 则 原 方向 组 
二 应 替换 为 站 

此 时 新 的 方向 组 不 仅 比 原 方向 组 而 且 比 所 有 替换 后 的 方向 组 都 更 接 
近 在 - 共 示 ， 

该 方向 调整 的 判别 准则 同时 解决 了 该 不 该 替换 ,该 如 何 替 换 这 样 两 
个 问题 . 但 是 应 用 上 述 判别 准则 的 国难 在 于 确定 m. 因为 按 1det( 关 .)1 = 
max | det( X,) 1 确定 m, 其 计算 量 是 十 分 太 的 ,下 而 的 定理 给 出 确定 m 的 
简便 方法 . 

定理 7.4 设 (1) f(x) 是 正定 二 哆 函数 ; 

(2) &,(i=1,.…,n) 是 Powell 基本 算法 中 的 搜索 方向 且 满 足 4 规 
格 化 ; 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


114 上 和 薄 ”无 约束 最 优化 方法 


《3)》 对 于 1 =1，…,R 
| = xX, 1 + oat,, 
他，: minA( x + ot,}; 
(4) 所 _x)E'AE -1[ 二 为 实数 , 称 为 规格 化 因子 】; 
5) 在 = 《过 ey : 攻 。) ,下 ,一 《 专 ， ee ,二 
则 有 (1) det( xX,) -det( x) 


(2) 在 下 列 二 组 数 中 和 alos 和 Cx) f(x) Dn 
1det(X)11,. -各 组 的 最 大 值 应 具有 同一 下 标 . 
据 定理 7. 4 的 结论 (2) ,如 果 
rs ) fxm) = maxlflx) -fx)1l, 《7 -11) 
则 der(X.) | = mas ldet( X,)|, 07 ~ 12) 


反之 亦 然 ， 
显然 ,用 4? -11) 震 换 (7 - 12) 更 容易 确定 王 . 
下 面 我 们 给 出 定理 7.4 证 明 的 要 点 ,请 读者 自行 补充 . 
证 (1) 由 假设 (4) 


1 1 = 
去 王 FR 至 mi) 3 


容易 导出 det( 宝 ,) = det(X) , 即 定理 7.4 的 结论 (1); 


(2) 首先 证 | 1det( 革 1 ,1 与 1a,1) ,1,.…., 的 最 大 值 具有 同一 下 
标 , 即 la,1 = max lo, | 与 1det(Y,) | = max ldet( 下 1 同时 成 立 . 

再 证 |1a:11 .与 1 1) ~ 了 AX,)1 ,1...., 的 最 大 和 值 具有 辣 一 下 
标 , 即 les1 = max 1a,1 与 f(x,) -fLx,) 1 同时 成 立 - 

综合 可 得 定理 7.4 的 结论 (2). 

定理 7.4 给 出 了 实用 的 方向 调整 的 判别 条 件 . 


7.2.3 Powell 算法 方向 调整 的 判别 准则 


1 正定 二 次 函数 的 情形 

设 Alx) 为 正定 二 次 少数 , 某 一 软 搜 索 方 向 站 (i=1,…,n) 为 线性 独 
立 娃 是 和 规格 化 的 向 量 组 , 从 任 给 点 x 出 发 ,依次 沿 &.(i=1,… ,nz) 帮 一 
维 寻 查 ,如 表 了 -4 所 示 : 
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太 = 成 工 


其 中 j= (x -xX0) A(x, -Xo) ,a,= 一 


计算 fx, 1) -fx,) ,r=1,% nn 
设 岂 rz。 ) -fxn) = max MUz iD) -f(x,) 上， 


Or, 


若 
天 


所 1 , 据 定理 7.4 的 结论 (1) ,有 


| det( KE,) | | der(X)|, 
又 据 定 理 7.4 的 结论 (2) ,有 
| det( ¥) |> |det(¥,)|= max |det(¥,)|- 
故 以 去 昔 换 二 ,后 ,11det( 于 ) 上, -as。 均 不 会 增 大 ,因此 专 不 应 该 换 
入 ,应 悍 持 原 方向 组 不 变 ; 


车 >1, 因 为 1det( 卫 ,) 1 > 1det( 于)1, 故 应 以 专 幸 换 二 ,所 形成 
的 新 的 搜索 方向 组 才 ，… ,去 较 原 方向 组 更 接近 生 一 
共 筑 ， 
算法 7.4( 正 定 二 次 函数 的 Powell 改进 算法 } 
外 结 定 初始 点 xo 及 初始 函数 值 =x0) ,5 >0; 
地 置 上 =0; 
怨 第 定 初 始 搜索 方向 才 =e,(i=1,"' ,nn)} 
二 对 ;1=1,…,n 计算 
Xx, = XT tas,, 
| 名 min M(x, + et}: 


Df = fr); 
@ 计算 规格 化 因子 名 = W(x, 一 X0) (xX, -xX0); 
四 令 纪 = 二 ( 忆 一 z) 计 算 

{ Ei = + Ge 要 。 


a min f(x, + Of); 
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检查 天 = 严 一 1? 
是 ,二 一 工 ”,Stop ， 
否 , 转 加 ; 
名 确定 各 使 得 
天 ze) Hx) = mar {fix 1) - fr,)1}; 


0 检查 
是 ,6 .= (i=1,2,. ,nn), 


E10 ， 
+1-=3k, 转 加 
否 , 对 i=m,m+1,"…,n-l. 
志 ,1 
置 #, = 专 ， 
有 1 
+ 1 于 上, 转 多. 
2. 非 二 次 应 数 的 情形 
对 于 非 二 次 函数 扰 x) ,计算 规格 化 因子 Am = (4 一 xo)A(r, 
xzo) ) 时 通常 用 Vx) 去 近似 代 蔡 矩阵 4. 但 我 们 知道 计算 二 阶 偏 导 数 垂 
阵 V f(x) 违背 了 直接 搜索 方法 的 宗旨 ,并 且 当 x 远离 极 小 点 x* 处 ， 
VY ?f(x) 近似 4 的 误差 较 大 . 因此 对 于 非 二 次 函数 ,方向 调整 的 判别 条 件 


不 宜 使 用 原 有 的 不 等 式 1 ,而 需要 另 属 途径 . 


现在 我 们 考 虚 模式 方向 =x, -zz 上 的 三 个 等 距 的 点 xz， 
2r, 一 xo ;其 对 应 的 阔 数 值 分 别 为 有 = 所) J = 作 ,) ,=A 用 (2x 一 Xo) 过 
(xzo 太 (zs 大) 2 -to 万) 三 点 作 拖 物 线 , 设 其 极 小 点 为 他, 极 小 值 


1? 


Th, 
本 


tn 
此 


为 上 于 是 有 
fs -A 
YT IF a ty 
让 (fF 一 方 3 
1 = + 
讨论 以 下 两 种 情形 : 


情形 1: -26 +f; <0. 

当 玉 xX) 为 正定 二 次 函数 时 ,由 于 太 x) 有 和 极 小 点 ;不 会 出 现 情形 1, 但 
当 碎 x) 非 二 次 函数 时 ,情形 1 是 可 能 出 现 的 . 此 时 志方 加 上 将 出 现 态 < 
fs < 
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事实 上 , 户 < 有 是 显然 的 ,而 由 两 个 不 等 式 广 -26 + <0, 记 < 王将 
导出 <: 

可 见 吉 是 一 个 较 好 的 下 隆 方 向 ,因此 可 用 二 来 替换 去 (2 =1,…,n) 中 
的 二 


情形 2: f -六 + 户 >0, 当 六 关 太 时 , 取 疡 = N28- 门 + 
AA 
从 而 搜索 方 问 ER [和 提 ,和 应 保持 不 变 ， 


当 巨 <f 时 , 取 放 = M2(8 -7) + M20F, -让 ， 
令 和 = max ci) -夏天 | = 成 2 — Ax.), 


en _ Va 
vA . 
因此 , 当 玉 < 万 且 - 一 <1 时 , 原 方向 组 &.(i= 
Af 2 万 一 方 -v2 -A 
vA 


1,… ,中 应 保持 不 变 ; 而 当 态 < 六 且 宇 1 时 , 则 


st F201) 
应 以 二 蔡 换 去, 


综 上 所 述 , = -am) 是 否 蔡 搞 所 ,可 细 分 为 以 下 四 种 情形 
讨论 : 

(1) 若 用 -2f, + 广 <0( 显 然 户 < 六 )》, 则 用 二 替换 二; 

(22) 车 三 -2f, + 记 > 人 0 县 方 兰 握 , 则 原 方 向 组 到 =1, ,pn) 应 分 持 
不 变 ; 


(3) 著 乒 -2 + 广 >0 凡 < 上 且 VC -让 -V2(P -月 , 则 用 
二 替换 去 。; 


(4) 车 方 -28 + 六 >0 < 所 且 vA<wz( 记 -站 -WwW2(F- 方 , 则 原 
方向 组 专人 =1 sm) 应 保持 不 变 . 

上 述 四 种 情形 如 图 7 -11 所 示 : 

还 可 以 证 明 , 利 用 判别 式 


2+) fA) 2 
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可 以 将 图 7 -11 简化 为 图 7 -12. 


图 7-12 


算法 ?7.5( 一 般 孙 数 的 改进 算法 ) 
已) 给 定 初 始点 wo, 收 人 敦 精度 5 >0; 
鲍 给 定 初始 搜索 方向 总 = eti=1,… ni 
地 给 定 初 始 规格 化 因子 =s=1i 
地 计算 六 = 人 Xo); 
辐 对 :=1,…,n 计算 
下 | 三 ii 十 看， 盏 jy 
Pp， = 嘻 ，， 
Qa; min f(x + oat,); 
全 计算 记 = )，; 
@ 确定 m 使 得 fxs) Ax.) = max |f(x, 1) -A(x,) 上 
令 B& = fx) -A ): 
名 计算 所 = 六 2x., -XY0); 
加 检查 有 <f.? 
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否 ,pi=p(i=1,…,.n) 转 他， 
是 , 转 曲 ; 


加 检查 Cf - 2 + 广 )( 扩 - 玉 -A)2 全 (- 玉 )23 


是 ,Pp;==p.(i=1,…,n) 转 地， 
否 , 转 加; 


中 作 搜索 方向 其 换 (去掉 P。, 换 人 寓 式 方向 


即 对 i=m,m+1l ,nl1.p,,1 pp,， 


~ (x ko)); 


。 一 3o | 


时 

置 p。 Ee — Xo); 
好 计算 

全 = x, +oa"p,, 

a : minf(x, + ap,), 

f= f(r; 

人 3 检 查 互 -终止 条 件 ? 
车 满足 , 则 输出 x, ,1 产 ， 
理 则 转 迎 ; 
各 堪 改 规格 和 化 因子 


s = minls,0.4°- |£F -关上 | 
办 重 赋 初 值守 一 To 太一 太 转 仿 - 
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8.1 观测 数据 的 最 小 二 乘 拟 合 


引出 
设 通过 实验 观测 手段 获得 5 组 数据 ( 表 8 一 1): 
表 8-1 


它 反 映 出 变量 1,7 之 间 的 某 称 数值 对 应 关系 . 现 确定 数据 所 表示 的 
痛 数 =xY() 的 一 种 近似 表达 式 . 
首先 描 册 观测 数据 的 散 点 图 (图 8 -1) ,上 述 5 点 在 平面 上 近似 地 分 
布 在 一 条 直线 上 ,可 以 假定 近似 表达 式 为 线性 范 数 
Y (1) = 站 十 让 ， 


图 8&-1 
其 中 参数 a,5 应 满足 如 下 关系 式 
a +2b = 2.01, 
a + 46 = 2.98, 


十 SP = 3.30, (8-1) 
a +8b = 5.02, 
a + Ob = 35.47. 


有 
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显然 式 (8 - 1) 为 一 超 定 方程 组 ,由 于 5 点 并 非 真 正 共 线 , 因 而 方程 组 
(8 ~ 有 是 不 相 容 的 , 即 是 说 不 能 由 式 (8 - 1) 直接 解 得 a,5 的 值 . 
可 用 如 下 一 些 粗 略 方法 确定 a,# 的 近似 值 . 
1， 选 点 法 : 即 从 式 (8 - 1) 中 任 取 两 个 方程 求 a,5. 例如 取 
和 +25 = 2.01, 
a + db = 2.08, 
求解 得 a =1.0 400,85 =0.4 350. 
{ +45 = 2.98, 
a +56 = 3.50, 
得 解 a = 0.9003,8 = 0.5 200 
2. 平均 法 : 为 了 充分 利用 已 给 的 数据 ,将 式 (8 -1) 中 的 5 个 方程 分 
成 2 组 . 取 平 均 最 后 得 2 个 方程 , 联 立 求解 a,. 
例如 ,将 式 (8 -1) 中 的 前 三 个 方程 划 为 一 组 ,余下 的 为 一 组 ,发 平均 
后 得 2 个 方程 : 


取 


| +3.678 = 2.83， 
a +8.5b = 5.245, 
求解 得 a = 0.995, 6 = 0.5, 

平均 法 较 选 点 法 效果 会 好 一 些 , 但 是 存在 如 下 两 个 问题 ; 

第 一 ,方法 本 身 没 有 给 出 评价 解 的 好 坏 的 标准 ,什么 样 的 解 才 算 * 最 
好 ”? 

第 二 ,方法 也 未 指出 用 和 何 种 办 法 求 得 “最 好 "的 解 ? 

为 了 解决 上 述 问 题 ,我 们 引入 与 观测 数据 有 关 的 一 个 重要 概念 . 


$8,1.i 残疾 


对 于 引 例 中 所 给 数据 
(fy 5=12,… ,5， 
令 y, 表示 观测 值 ,x”=a* +6"t 表示 合计 值 . 由 于 y, 有 误差 ,y* =a* + 
8"t 久 是 近似 表达 式 , 放 一 般 地 
y” 天 iT1,2, ,3. 
记 Y= -= + =1,2,,5, (8-2) 
称 y, 为 观测 数据 7, 的 残 差 . 由 于 ,yi 为 已 知 ,因此 ,y, 为 参数 a ,8" 的 
函数 , 即 
y= ?fa =12…,5， {8 —3) 
由 此 得 到 以 Y; 为 分 量 的 残 差 向 量 
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yla 6) = (ya (8 -4) 
并 且 , 用 7 的 长 上 | Y 上 作为 评价 参数 a” ,5" 好 坏 的 标准 . 因此 我 们 吉 开 由 
式 (8 - 1) 确定 a” ,8' 的 值 , 转 而 求 如 下 无 约 东 极 小 问题 

min 站 y(a.b) | ， (8 -5) 
即 对 ¥Y(a,6)”E R ,确定 (a" ,2 ) ,使 得 
min| ya,6) | = | yea’ .6")|, 
极 小 问题 式 (8 -5) 的 解 (a” ,2 ) 是 在 任意 范 数 | * ‖ 意义 下 的 最 好 解 . 
为 了 避免 绝对 值 运算 ,通常 采用 欧 氏 范 数 , 即 求解 如 下 无 约束 极 小 问题 
min 3 六》 | ;, 


其 中 | y(et 1 = Tyla,b). (8 -6) 


令 残 量 平 方 和 达到 最 小 来 确定 a ,5 , 即 所 谓 观测 数据 的 最 小 二 乘 
拟 合 , 式 (8 -6) 的 解 称 为 超 定 方 程 组 式 (8 -1 的 最小 二 乘 解 . 


3.1.2 最 小 二 乖 拟 合 的 数学 模型 


设 纵 出 m 组 数据 
Ct), i = 1,2,.,m, 【8 一 7) 
其 中 所 天 昌 人 天门， = 
给 定 一 个 有 限 的 函数 系 
[oD ,T= 1,2,. nn (m > n), (8 — 8) 
县 假定 对 于 ti fa,5] ,| 由 (9 (=1,2,…,n) 莉 是 线性 独立 的 . 我 们 的 
目的 是 根据 已 知 数据 (8 -7) 用 函数 系 式 (8 -8) 的 线性 组 会 在 某 种 意义 
下 来 近似 表示 函数 7Y(!). 


即 令 y(t st) = Dd)， (8 -9) 


或 简 记 为 Y(2x ) = 守 守 和 (2) ,x = (x 

常用 的 函数 系 (8 -8) 有 办 函数 系 1t'| ,三 角 函 数 系 | sin( 让 ) | ,指数 
函数 系 je } 等 . 

表达 式 (8 -9) 对 参数 汉人 =1,2, ,ai 而 言 是 线性 的 ,这 是 一 种 线 
性 数学 模型 . 

引入 数据 式 (8 -7) 的 残 差 向 量 y(x*) 

YF) = (YY Ym), 

其 分 量 ( 残 差 ) Yi= YX ) = ix ) 一 多 
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= Te ht) -i= 1,2,,m. (8 — 10) 
我 们 的 目的 是 ,按照 最 小 二 乘 准 则 来 确定 式 (8 -10) 中 的 参数 xr (J 
=1,2,…,n), 妈 是 求 解 如 下 无 约束 极 小 问题 
seo 6 
其 中 min| > 人 = E70) = [E60) -+ 
称 式 (8 -11) 的 解 x”= (xs ,… ,x2 ) 叫 最 小 二 乘 解 . 
通过 求 最 小 二 莱 解 确定 观测 数据 的 拟 合 是 数 
TfKE = YE 9 ), 四 
我 们 称 为 观测 数据 的 最 小 二 乘 拟 合 . 由 于 yx) 是 工 的 线性 函数 ,又 称 为 
线性 量 小 二 乘 拟 合 . 
8.2 超 定 方 程 组 及 其 最 小 二 乘 解 
8.2.1 超 定 方程 组 的 最 小 二 萎 解 
设 Arx = 罗 ， (8 - 12) 
其 中 熏 = 【ajax 三 > nn 
x = (ws), 
Fe 
1 因为 方程 的 个 数 m 大 于 未 知 量 的 个 数 4, 故 称 式 (8 -12) 为 超 定 方 
程 组 . 
' 当 rankf4) = rank( 有 1y) 时 , 式 (8 -12) 相 容 , 妈 存在 x ER 使 式 
， (8 一 12) 成立. 称 守 电 (8 - 12 的 常 交 解 . 
当 rank(4) rank( 和 41y) 时 , 式 (8 -12) 不 相 容 , 即 对 于 VE 有 式 
(8 -12) 桓 不成立. 在 此 情形 式 (8 - 12) 不 存在 常 义 解 , 
例如 超 定 方程 组 
XI + % 二 3， 
x1— x,= 1, 《8 -13) 
xi 十 2%; = 4， 
其 系数 甜 阵 
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1 1 
i | - | = 《zxza)》 sb = (3,1,4) ,rank(A) = 2， 


1 2 
1 1 3 
而 增 广 矩阵 [起 1 8] | | | rank(A |65) = 2， 
1 2 4 
由 于 rank (A) = rank(A |5), 
故 式 (8 -13}) 不 仅 有 和解 ,而 且 有 唯一 解 
x = (2,1).. 


又 如 方程 组 
xl + x = 3, 
Ni wo 1 {8 — 14) 
TI + 2x, = 1, 


rank( 丰 )》=2, 而 rank{ 有 15) =3, 故 式 (8 一 14) 无 常 尽 解 ， 
当 式 (8 12) 无 常 义 解 时 , 令 


Y{x) = Ar—-y#¥0, 


解 无 约束 极 小 问题 
min| y(x) | 3, (8 - 15) 
其 中 7(z) = 4r -7= 工 [ 工 os-z] 


极 小 问题 式 (8 -15) 的 解 x”= (xz )7 称 为 超 定 方程 组 (8 - 
12) 的 最 小 二 乘 解 . 且 当 *" 为 式 (8 -12) 的 常 久 解 时 , 则 因 y(x") =0 ,从 
而 有 | 上 (x* )|2 =， 

下 而 我 们 进一步 讨论 由 数据 拟 合 形成 的 最 小 二 乘 问题 式 (8 - 11) 与 
由 超 定 方程 求解 所 形成 的 最 小 二 乘 问题 式 (8 - 15) 之 间 的 联系 . 

在 式 (8 -11) 中 ,让 05) 是 由 (9 在 8 的 值 ,而 函数 系 由 (0 ，… ,由 
《 昌 分 别 在 上 = 与 ,…, 所 处 所 取得 的 值 形成 矩阵 [由 (5)] ， 。 
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中 有 
即 [b(t.)] ptt) 本 pt,) 四 中 民生 
its) i) i ) 


车 令 hit) = ay;* 即 有 


[由 (0 ] = [oo] mA, 
因此 问题 式 (8 - 11) 与 式 (8 -15) 的 提 法 是 等 价 的 ,因为 


170 Ni= 3 [Ege) -| 
= [Bos =14z-712 
注意 到 ,在 数据 拟 合 问题 式 (8 -11) 中 
Yi ) = pt -0,7 = 1,2,..,m, 


即 4x ”天 ?7 ,7y(Y  ) =A4x”-y 了 0, 因 此, 拟 合 问 题 所 形成 的 超 定 方程 无 常 


闵 解 - 
例 8.1( 多 项 式 所 合 ) 设 观 测 数 据 (i ,7Y,)i=1,2,…,m, 取 
{oD = tlt nm, 
构造 关 玫 ai (i =1,… ai) 的 线性 模型 
yOEX) = a +t att +art', (8 -16) 
其 中 x 一 Car 1 )  , 试 确 定式 (8 -16) 中 的 a (i=1,*…,n). 
巷 令 
1 和 所 和 
1 有 息 名 
和 = 时 
1 i, £ je 


= 《9 9 ,yw ， 
则 问题 变 为 求解 如 下 线性 最 小 二 乘 问题 


min | Ax -了 外 >， (8 - 17) 
二 三 可 上 
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式 (8 -17) 的 解 为 x” = (am an) 
例 8.2( 三 角 函 数 拟 合 ) 设 (t,Y,) i=1 ,2 ,5 如 表 8 一 ?2 所 示 : 


-1 
构造 线性 模型 . 
yt) = in f+b "cos 1, 试 确定 待定 参数 2a" ,6b" 
sin 0 cos 0 0 1 
sin 三 cos 志 2 这 
若 令 种 = sin 本 cos 7 = 0 二 
，3 实 3 开 . 有 
4 人 
sin TT cos TT 0 一 上 
四 1 1 
y = (1, 二.0,3 , -1}， 
则 问题 变 为 求解 如 下 线性 最 小 二 乘 问题 


min | Ax 一 了 了 |: (8 ~ 18) 
于 后 隐 和 
式 (8 -18) 的 解 为 x" =(a" ,5 ) . 


8.2.2 最 小 二 冬 解 的 存在 性 及 唯一 性 


定理 8.1 超 定 方程 组 Ax = 了 总 存在 最 小 二 乘 解 . 即 总 存在 zx E 及 
使 


min| Ax -y= | 4x 一 了 了 |: 
x 它 慷 " 


证 令 RiA)= 1iZ=Axr= V0 lA eR"™,s E Re 【8 -~ 19) 
划 及 (4) 是 4 的 所 有 列 台 C=1, ,组 成 
的 线性 子 空间 . 了 

如 图 3 一 2, 据 式 (8 一 19},R(A)CR"，, 
ee AL/ 
中 站 是 y 在 RR(4) 上 的 投影 ,y; 是 ?在 


R( 有 丰 ) 的 正 交 补 上 的 投影 ,和 欲 证 友 在 x ,使 图 8 -2 
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| az” -3 了 2<‖ az- 对 Yx xXx” 成 立 . 
事实 上 对 YXxE R", 有 
ax-yl: = Ax— (Cy, +y))3=) (Ax -y,) -y, | 
=| Ax-y|: -2CAx -3) "3, +»; | 3. 


因 尖 挟 避 (4 ,网 x 一 会员 (4)， 
所 以 (Ax -y1) 上 ya， 于 是 有 


| 4x -了 1 = Axr-y, |2 + y, | 


又 因为 hz E R4) 是 R4) 的 泛 元 素 , 故 由 册 民 (44) ,总 可 以 取 到 x ， 


使 
打 =¥|，, 
即 ax A 对 Vx 成立 . 
定理 8.2 x" ER" 成 为 如 下 线性 最 小 二 乘 问 题 的 解 

min | 4z -3 |: (8 - 20) 

当 且 仅 当 x*" 满足 
A Ar” —¥) = D， 

即 六 "AX” = 总 'y， (8 — 21) 


并 且 称 式 (8 -21) 是 线性 最 小 二 乘 问 题 式 (8 -20) 的 法 方程 . 
证 ”充分 性 设 x" 满足 式 (8 -21) ,签证 


min | Ax 一 了 = | Ax. -3 了 :， 
只 需 证 明 对 VYx ER" 使 
| 4xz -yili> 1 Ar -yl 
事实 上 , 令 x=x”+z, 则 有 
jax yli=| A +z) -yh = | (4x ->) +Azl: 
= | Ax’ -py): +2(Ax" -y,4z) + | Azl; 


= | 4xr- yl:+22A (Axr’ -y) + Azl: 
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= | az ” -7 了 az+l Azl? 
之 |‖4z”- 了 用 >， 
由 x* EE R" 的 任意 性 知 
min) Ax -1 = 1 Ar. -yl:. 
必要 性 ( 反 证 法 ) 设 x" 是 极 小 疝 题 min 上 4x -了 |: 的 解 ,但 假定 
A (Ar” -yy) =z¥0, 令 =x" -evute>0), 
| Au -yl; =| (Axr” -y) +eAol: 
=| Ax” -yl:-2ev A (Ax” -y) + |Av|: 
=| Ax* -yl|:-2evz+s | Avl:. 
因为 z 关 0, 故 对 充分 小 的 a>0 有 
2evz > | Avl:, 
所 以 | au -ys < | Ar -了 有:， 
这 与 假设 矛盾 . 故 有 
4 (4r” -3 了) = 0， 
即 式 (8 -21) 成立， 
推论 8&.1( 唯 一 性 条 件 ) 设 线 竹 最 小 二 乘 问 题 minj Ax < 了 | > 
{8 —22) 
(1) 车 及 "4 非 奇 异 , 则 式 (8 -22) 有 了 唯一 解 x=(474) A'y; 
(2) 车 4 4 奇异 , 则 式 (8 -2) 有 无 穷 儿 个 解 ,可 表 为 x+az. 其 中 工 
是 (8 一 22) 的 任 一 和 解 ,z 满足 4z =0,a 为 任意 实数 . 
证 若 4 4 非 奇异 , 则 4 4t =4"'y 有 了 唯一 解 
二 = Cy. 
车 态 且 奇异 , 则 入 列 捞 化 ", 即 及 的 烈 向 量 线性 相关 , 故 存 在 z0 使 
得 
态 z = 站. 


注 : 说 4 ER"*", 则 有 旭 下 结论 
(1) 447A 非 奇 异 的 充 要 条 性 是 4 列 浦 秩 ，; 
(2) 474 奇异 的 充 要 条 件 是 上 4& 列 退 尼 . 
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了 唯一。 
8.2.3 举例 


性 模型 y(i,x) =ar +azt+: 


其 中 
m pt 
Ei 
A'#=| Te Or 
:Oe 


A'y= (E37., Es,» 


设 车 为 式 (8 -20) 的 一 个 解 , 则 x +oz 必 满 足 法 方程 
(FX + oz) = A4'y. 
事实 上 A 人 A(x +ar) = A'Ax a ad Az = ATArT+0 = A'y, 
即 x +az 羡 为 式 (8 -20) 的 解 ,由 于 a 为 任意 实数 , 故 (8 -20) 的 解 不 


例 8 3 设 观测 数据 为 4 和 =1,2,…, 严 ,试用 最 小 二 过 法 确定 线 
…+a 中 的 矢 数 @7 15=1，…,). 


解 令 
£7 
a t 站 i 
i， 六 tn 
*” (a 
y 


癌 题 变 成 求解 线性 最 小 二 乘 问题 


min | A —y | 
工 廿 到 上 


由 定理 B.2 直接 解法 方程 (8 ~21) , 即 解 方程 组 


AAAr = 六 'y， 
i Ei 
荆 声 Ee 
开 纪 De 
in! I 
到 一 下 1 
四 7 ) 本 


矩阵 474 及 右 端 向 量 4'y 中 的 所 有 元 素 可 按 表 8 -3 进行 计算 : 
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例 4.4 解 超 定 方程 组 


fi 十 x = 3， 
| — x,=1, (8 — 23}) 
x| + 2x, = 4， 


1 1 3 
a -| | 到 | 二 -| 
1 2 4 


因为 rankr4y = rank(tA ib) = 2, 
所 以 方程 组 (8 -23) 相 容 , 且 rank( 丰 ) =2( 未 知 量 的 个 数 )， 
故 有 唯一 解 ,直接 解 式 48 -23) 得 常 义 解 
x1 一 2，Y = |， 
即 站 二 全 二 本 ， 
现 用 最 小 二 乘法 求解 式 (8&8 - 23), 因 为 式 (83 -23) 相 容 , 故 存在 x" 


| Ax*” -bl; = mi | Ax -bl2, 
作法 方程 A'TAxT' = Ab, 
3 211%) 8 
a |， dd, [ol 
又 因为 4 4 非 奇 异 , 故 由 推论 知 有 唯一 解 . 
x” = (2,1) ， 


可 见 ,在 超 定 方程 相 容 的 情形 , 常 闵 解 与 最 小 一 乘 解 是 一 致 的 . 
例 8.5 解 超 定 方程 组 


I 十 % 二 3， 
xi — x=1, (8 — 24} 


Wi 十 2 = 1, 
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1 ] 3 


1 2 1 
因 为 TamKT 过 》 =2, rank(A1lb) =3, 
所 以 方程 组 (8 -24) 不 相 窜 , 只 有 最 小 二 老 解 . 其 法 方程 为 
人 pr PE 
2x, + 6x, = 4， 
由 此 得 式 (8 -24) 的 唯一 解 ,x = [了 了 ,村 ] 
例 8.6 解 超 定 方程 组 
Yi 十 %; 三 3， 
| 2x) + 2x, = 6, 8 — 25) 
—%— x,= 1. 


解 ” 显 然 式 (8 -25) 为 矛盾 方程 组 ,只 能 有 最 小 二 乘 解 
6 6& 
因为 44=|。 5 | 为 奇异 矩阵 ， 


而 ATB = (14,14)' 0, 


3 
由 此 得 式 (8 -25) 的 无 穷 多 组 最 小 二 乘 角 
x = 十- x。 《zs 为 任意 数 )， 


0 


解法 方程 44[。] = AD 得 Fa = 


且 对 任意 的 x*2 ,Ax -Bb: = 
例 8.7 解 不 定 方程 组 


+ + = 8， 
{ 0 (8 - 26) 
Dx + 2%, +2x4 = 了 


解 式 (8 -26) 为 矛盾 方程 ,无常 义 解 , 但 可 求 最 小 二 乘 解 . 


5 5 5 10 xi 

由 4 4 = 5 | A'h = 加 = 四 

5 5 5 10 x 
法 方程 Xi + wi + 3 二 了 

任 取 x; ,xs 为 自由 未 知 量 ,得 无 穷 名 个 解 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


132 上 条 无 的 东 最 忧 化 方法 


省 | = 2 -KX -YX, 


且 对 任意 xs ,2 ,| Ax -B81|?=0. 
8.3 Golub 方法 (用 正 交 分 解 求 最 小 二 乘 解 ) 


为 克服 法 方程 "4x =477 出 现 病 态 所 造成 的 困难 ,1965 年 Golub 和 
Businger 提出 避 开 法 方程 ,直接 用 正 交 分 解法 解 超 定 方 程 组 (8 -12). 


8.3,1 矩阵 的 正 交 分 解 


引 理 人 .41( 方 阵 的 正 交 分 解 ) 设 上 = (ci 为 非 奇 异 的 半 阶 方 阵 , 几 
存在 正 交 阵 由,.. 及 上 三 角 阵 灵 . .使 
OA = RR, (8 - 27) 
其 中 避 =H :五 ，:，… :五 (五 为 n 阶 Householder 算 阵 ,附录 工 中 将 
详细 介绍 该 矩阵 的 定义 和 性 质 ) ,由 于 = 如 ,8 -27) 也 可 写成 
A = O'R. (8 —- 28) 
(8 -27) 或 (8 -28) 称 为 4 的 8R 分 解 式 . 
引 理 8.2( 一 盘算 阵 的 85 分解) 设 生 = (erinxn 下 >1 且 
rank( 4) =r <n, 则 存在 正 交 阵 全 ,、。 及 上 梯形 阵 品 ,、, ,使 


OO = Us ‘8 i 29)} 
其 中 心 , = 地 惠 ,，，…HH(H, 为 m 阶 Householder 答 阵 ) ,而 
下 
了 一 天 丙 隐 
上 
Hy Ws BH 本 1 
He a, 下 za1 下 > 
于” = ， 
Wi : 好， 1 是 
设 有 超 定 方程 AxX = 了 ， 《3 — 30} 
若 4= (av)。， 为 列 满 秩 , 即 rank(4) =n, 据 引 理 8.2, 存 在 正 交 阵 
一. 使 
R 
Os 一 U,., 二 i 由 
| 
ml ms nn 
Ty Fn 
其 中 RR EF 了 
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若 令 2.… 7 = 6 = [一 |， 
fm -my xl 
因此 ,用 如 和 富 时 变换 (8 -30) 的 左右 端 得 
QAx = Qy, 
即 Ur = 五， 
及. 1 _ fp _ 
即 | 2 |* 三 [2 (8 -31) 


车 (8 -30) 存 在 常 义 解 , 则 经 8 变换 后 (8 31) 评 有 常 闵 解 ,于 是 有 
Rx =p, 4 = 作 . 

若 (8 -30) 只 有 最 小 二 乘 解 ,我 们 将 证 明 48 -31) 亦 有 相同 的 最 小 二 

乘 解 . 旦 为 三 角 方 程 组 
Rx =p (8 — 32) 

的 解 . 此 时 由 于 (8 -31) 并 非 真正 等 式 , 若 {8 -32) 成 立 , 则 gz0. 

定理 8.3 趣 定 方程 组 (8 -30) 与 三 钊 方程 组 (8 -32) 和 同和 解 . 

证 首先 证 明 (8 -30) 与 48 -31) 呆 最 小 二 乘 解 .事实 上 ,由 
《8 -31) 有 

三 _p_[REI._rP]1_IR*-P 
CAE 5=| 万 | [可 =| -有 
而 
| CCar -7)|: =[O(Axr -3y)] [OAx -3y) |] = (Ar -7) OO(Ar-y) 
= (Ax-y) (Ar—y)}=| Ar-y|;, 

显然 , 若 x' 为 | ar -y :的 极 小 点 , 必 为 | QC4zx -y)? 的 极 小 点 ,反之 
亦 真 . 

即 是 说 (8 -30) 与 (8 -31) 同 最 小 二 姜 解 .下面 进一步 证 明 最 小 二 乘 
解 即 为 (8 -32) 的 解 ， 


因为 Qt4x -p12 =(Rr-p,g) [| 
= (Rx-p) (Rx-p)+gq'q 
=p'p+q' q+(Rx)" (Rr) -2p" (Rx), 
{8 -33) 
所 以 当 p=Rx 时 ,(8 -334 成 为 
| 有 (4x -y=44, (8 -34) 
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而 ppP+(Re)' (RY) -2p' (Rx) 
=|p |2+l Rr: -2|p |; | Rx | ,cos(p,Rx) 
=|pl;i+| Rr -2|p|, Rx|, 
=(Hpl: -| Rr|,) >0, 


所 以 《8 -34) 达 到 极 小 ,因此 (8 -32) 的 解 即 为 | QC4x --y); 的 极 小 
点 , 亦 为 | 4x -了 | z 的 极 小 点 ,反之 亦 真 - 

至 此 ,我 们 证 明了 (8 -30) 与 (8 -31) 同 最 小 二 乘 解 , 且 为 48 - 32) 
芍 解 ， 

定理 8.3 措 示 了 借助 矩阵 正 交 分 解 , 解 超 定 方程 组 (8 -30) 的 途径 ， 
其 具体 步 邓 妆 纳 如 下 : 

1， 用 Householder 矩阵 同时 变换 各 及 了 


QA =(H,,H,,,*",H, ) 六 = [a 5 


Qy = (H,,H, ,Hy = [| 


(注意 ,车 Ax =y 存在 常 义 解 , 则 =0, 若 Ax =? 不 存在 常 义 解 , 则 9 天 0) 
2. 解 三 骨 方 程 组 Rx =p， 


ry Fa Ti 
Pz 0 Tn 

其 中 用 = +” 
Fn 


求解 公式 为 : 
p, 
二 
hn 
y (8 - 35) 
ye YD, xy, 
zi = 一人) 


xz = (zzsv) 最 为 (8 -36) 的 最 小 二 乘 解 . 
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$3,2 Colub 算法 


设 4x = 了 ,4 ,, ,为 列 满 秩 ， 

a 
记 及 ，。 = 上 骨 = : 小 

so 

b, 人 (bio. bo) 

对 有 ,及 实行 次 Householder 变 措 , 即 

H.-H'(A,) = 和 = UU, 
= 8, 


HH (hb) = 6b, 
可 归纳 为 如 下 递 推 形式 
网 径 HA,,， 并 二 1 ,2 ,nn, 《各 — 361) 
五 ， = Hb,., 
入 = FHA,, (3 — 37) 
b, = Hb,. 


式 中 互 , 可 利用 4。 的 第 一 列 元 素来 构造 
再 =1-Bvv, 


lL 
好 = sign( a | > (Car yy” 


其 中 
! 
人 
= (a + Ia ,0 


第 一 次 变换 的 结果 是 


7) 
4 


于 是 (8 A 

a 

b, = 

其 中 r= Bivido. 
类 似 地 ,第 上 次 递 推 公式 (8 -36) 的 实用 形式 为 

J k=1,2,,n, (8-38) 


化 

在 ， 三 bp,) 一 vpibi.,), 

其 中 TT, = sign(alt 2 
1 


B: Ce ] + oy 


入， wl 


b, 一 vw (pib,) ' 
pi! 二 及 可 
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上 上 一] {1} i¥-1}y ”7T 
v = (0, ,a 十 Tsk ng ) ， 


《0 (0 《983 
TU! fi ha Gl ] 宅 名 in 
(Dy | 7 本 (1) 
TF ar! 1! da " G2 
三 (iD ， 《了 
站 ,| = 一 TE ek Gin |， 
0 人 1 
也 号 全 
0 : : 
{1 {#1} 
mk i 
T 
b, ,= (Chi bar 1) 3 
最 后 结果 是 
A = 下.… 五 上 =U 到 如， 
mm 一 n 1 GG 一 mxm 0 9, 
一 
«1 “iy 
| i ls, 
[i a 
TU 2 ‘iy 2 
R,.,, 一 “ 《 记 er， 三 六 二], nl1), 
{rm 
i 


b, = H.-Hbs = (bss bona)", 
综 上 所 述 ,可 得 如 下 Golub 基本 算法 

算法 8.1 

加 给 定 4=(e)。 5= (54,… ,6。)" 及 控制 精度 的 误差 限 e; 


四 置 k=1; 
久 计算 S = Dn 


地 计算 oo, =sign(an) WS 
地) 检查 3 <e? 
是 ,停止 计算 (算法 失败 ) ; 


他 计算 忆 = 


Ta + oi) 

园 计算 如 =(0， ,0,00 to 0e dn) 
计算 pi =Bv ,gt =piAe1; 

名 计算 有 4,=A4,.， — vq 
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b, = 入 _， (Cprb,_ 1); 
罗 检查 <n? 
是 , 置 上 =k+1, 转 加 ; 
百 
轴 令 x = 一 ; 
三 


nn 


入 对 i=n-1,.…,1l 计算 


一 pe 
w= J= 49+1 

懂 打印 x.(i=1,…,n), 停 . 

为 了 减少 会 人 误差 的 影响 ,在 算法 8.1 中 还 可 增加 “ 选 主 元 ”的 步 
又 ,考虑 公式 (8 一 38)， 


; 
闻 ; 


令 = > i 到 天 ,天 和 1 ,ne, 
SI = maxfSi | ， 
取 or, = sign(alt  ) YS, 
并 且 注 意 到 这 时 要 把 4,_, 中 的 第 列 和 第 ! 列 进行 交换 ,同时 把 x 的 相 
应 分 量 也 进行 交换 ， 


算法 3.23( 选 主 元 的 Golub 算法 ) 

QD 向 定 4 = (oj) ,ob = (5 ,5,) 及 控制 精度 的 误差 限 e; 
全 置 上 =1; 

国 对 j= 上 ,Rn 计算 5 = 之 o 

EY 令 5,= max |S5,! ; 

‘3 检查 5 所 号 

是 ,停止 计算 (算法 失败 ); 

@ 检查 1= 上 ? 

是 , 转 心 ; 

否 ,交换 4 的 第 ,i 两 列 , 同 时 交换 *; 和 %, 的 位 置 ; 
加 计算 om, = sign(au)wSi; 

@ 计算 B= 一 一 


ia t oi) 
名 计算 = (0,.…,0.6w + sr ,Ge 
二 计算 pi = 有 mr ,qr =piA, 1; 


和 
+ 
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i 计算 各 = 起 一 人 三公， 
b, = Bb,, 一 LA 人 硬 ， ) ; 


蕊 检 查 天 < 下? 
是 , 置 上 =k+1, 转 名 ; 
! 五 
入 令 rr= 一 ; 
企 nn 
各 对 i=na-1,…,1, 计算 


蝎 打印 x,(i=1,…,n) , 停 . 
例 88 解 超 定 方程 组 


1 1 3 
Io 0 加 = be 
0 0.01:™* Lo.o02 

显然 , 原 方 程 组 有 常 义 解 ,x = (1,2) 7 亦 即 最 小 二 号 解 . 这 个 解 从 理 

论 上 讲 也 可 以 通过 解法 方程 组 4 4x = 上 了 求 得 
1. 000 1 1 和 3.000 1 

即 解 | 1 1. 000 ,| | - [so a 

求 得 原 超 定 方 程 组 的 解 ,但 是 由 于 detf(4a 4) =0.000 1 很 小 , 即 
(8 - 39 是 一 个 病态 方程 组 ,求解 该 方程 组 极 易 受 外 异 的 干扰 上 如 系数 年 
阵 或 去 端 启 量 的 微小 扰动 ?造成 解 的 失真 . 

例如 : 车 给 右 端 向 量 一 个 微小 扰动 , 令 右 端 庙 量 为 43.000 1， 
3. 000 1) 7 , 则 扰动 后 的 解 为 zx =1.5,*: =1.5; 若 给 右 端 向 量 另 一 个 微小 
扰动 , 令 右 映 向 量 为 (3,3. 000 2)  , 则 扰动 后 的 解 为 *, =0.5,x, =2.5, 

下 面 我 们 用 Golub 算法 求 原 超 定 方程 组 . 

解 ” 首先, 求 及 ;及 p, 即 实现 正 交 变换 


五 ， 
4 = 各 一 全 4 = 了 4 = 及， — wa 
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5, = RE = Hb, = Bb, - v(tpib,). 
Do,= v1+0.01 =1.0000; 

1 
DB, = 11) 
® v= (2.000 0,0.01,0); 
Bp = {1.0000,0.005 0,0)", 
Dg =pi4 = (1.0000,1.000 0)"; 

2.0000 2.0000 
ua =| 0.01 0.01 |, 


=0. 500 0; 


0 0 
-1.0000 -1.0000 
及， = 是 。 一 1 = 0 -0.01 |， 
0 0.01 
b=b, -wpb) =( 3, -0.02,0.02) ; 
第 二 步 
HH 


总， AA， = H,A, = 4, — Dg, 
H, 了 
bp— bh, = Hb, =b -wpb,). 
Da, = -v0.0i+0.01 = -0.014 14; 


1 
® Bp, =o 0.01) 
Dv, =0, -0.024 14.0.01) 
pT = 0, -70.721 4,29.296 3)"; 
® gq =piA, = {0,1.000 1)"; 
0 0 
人 me =10 -0.02414|; 
0 0. 01 
—] -1 
A,=A -wg =| 0 0.01414|; 
0 0 
Bb, =b -vw (qb) ={ -3,0.028 3,0)"; 
由 此 得 


=2 9029, 633 7; 


_1 -i 
"=| 0 0.014 a 
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p= (-3,0.0283)". 
其 次 , 解 Rx =p, 据 (8 -353) 得 
全 = 0. 998 65, 
*2 = 2.001 4，， 
即 x”= (0.998 5,2.001 4) ”为 原 方 程 的 最 小 二 乘 解 . 
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附录 工 初等 反射 矩阵 (如 敌阵 ) 
及 其 性 质 


《一 ) 定义 8&.1 设 wEER" 有 是 lxl;=1,7 为 5 阶 单位 矩阵 , 称 五 = 
了 -2987 是 做 Householder 穗 阵 ( 简 称 囊 盾 阵 ), 由 吾 拓 阵 确定 的 变换 叫 五 
变换 . 

该 定义 的 更 一 般 的 形式 是 ; 


设 WE R',wz0, 称 -2 一 7 =1-Bww 叫做 吾 和 矩阵 .其 中 


I 这 i 


2 

A -TE 
‘二 ) 基本 性 质 
1， 对 称 性 . 即 H' = 五 

事实 上 ,HY = (FT-2uazr)7 = 了 了 -20 ) =1-2uu <=H. 
2， 正 交 性 . 即 HT'H = 工 

事实 上 ,HH =( 了 -288T) 2 =I -Aun +4uu * uu 

=T 4un' +4u(n -un = -4uu +4un' =I. 

3， 对 合 福 . 即 H* = 工 

事实 Ft,F=H.H=H'H=I. 


T 


H, n 和 
推广 结论 : 8" = “加 人 
(三 ) 几何 意义 


设 vER", 令 Hv=vw ,可 以 证 明 vw' 怡 为 在 镜 ( 线 )! 下 的 镜像 (如 图 
1 -1). 

设 5 为 过 原点 以 向 晤 4# 为 法 向 量 的 超 平面 , 即 ux=0. 

设 vE R", 则 有 w=x+y, 其 中 x 全 S,7 夸 S+ ,由 

Hx = (TT -2uu x = x -2uM Xx = 于 ， 

Hy = (7-24 )y =y-2uuy =y -2uu (Au)(y 与 # 共 线 ) 

= -2Aw = 和 一 2 =—}, 

所 以 Hyv= Hx+Hy =x-¥y = 让 

可 见 , 对 于 给 定 的 mw, 经 吾 作 用 后 ,下 mp =z 恰 为 % 在 镜 ( 线 ) 下 的 
镜像 . 
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142 
图 I -1 
{四 ) 定理 (不 于 证 明 ) 
定理 8.4 设 x,y Ee R", 且 x, = yl;, 旭 总 存在 五 阵 , 使 得 Hx = 
3 了 ,其 中 
下 一 让 


H=1 -Au ,= 一 一 一 
|y =- 过 下 
例 89 设 x=(1,2,1})' ,y=(-1,2,-1)', 求 吾 司 得 Hx =y. 


解 y={ -2.0, -2) ,|y -x|, =22, 


,Ns 
名 定理 84, 取 w= 全 于 (“一 酝 )， 


0 0 -1 

#1 -| 。 1 | 
-10 0 
0 0 -11rl -1 

"lo oarl ls 
-10 0 -1 


设立 ER ,xz0, 则 总 存在 互 阵 ,使 得 


定理 8.5 
Hx =- oe = (-0,,0,.…,0)", 
H=T- pw, 
DD=x+oe, 
其 中 _ 1 (8 -40) 
i To 十 区 了” 


li = + xll; 
为 减少 会 人 误差 ,通常 取 gq = sign(%,) xi, (x 为 x 的 第 一 分 基 ), 故 式 
(8 一 40) 可 改写 为 
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H=1- Bw, 
VY 三 二 1， 
J J 四 (8 -41 
及 = 加 + ti) 一 ra 
oT, = sign(z,) || 关 |， 
例 8.10 设 x=(1,2,1)", 求 日 使 得 Hx= -oe. 
解 ” 据 定理 8.5 之 式 (8 -41) 
ov = sign(1) lxl, = $6, 
v= (1 +y6,2,1)", 
二 1 _ 1 
A om Wr) 6+ 
J -1 
v6 #6 v6 
， 2 + 2 
Wh | 
1 .2 5 +v6 
了 6+ 和 + 
验证 Hx =- oe =【-v6,0,0)7， 
推论 8 2 设 xE R*,xz#*0, 则 总 存在 吾 和 矩阵 ,使 得 
Hx = (gp -0.0) , 
H=I-B.rw, 
2 = 有 = = 人 0， 
和 二 x, + 条 |， 
其 中 b= Xi =i+l,,n, (8 -42) 
了 , = sign(s) (Et) 
B a i 
例 8.11 设 x=(1,2,1)", 求 吾 使 得 Hx=(1, -0o,,0).. 
解 ” 据 推论 8.2 之 式 48 -42) 
or = sign (2) V2 +1 = 5, 
v= (0,2 +y5,1)", 
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p, = SO 1 1 
Iat 2 +5) 5 +2.5 
1 0 0 
1 9 +4 + 他 
所 以 五 = 了 -有 om = 于 +2 SS+23 |， 


_5+yY5 |__ 1 
5 + 5+25 
验证 Hx=(1l -vy5, 0).. 
《五 ) Householder 变换 (五 变换 ) 


n) ,使 得 
HH.., 五 ,4 = | Ro , 
Oe 
~g a a 
ee 1) 
其 中 再 三 Ed 了 有 
0 一 
计算 步骤 如 下 : 
FH, 
第 1 步 4， HiA, =A,, 
H, = 了 -ow ,其 中 
a, = sign (ae 》 /2 Can ) ， 
i=1 
1 
Be oa + 
nn dr a 
= 二 
4 
0 a 
mi 了 中 
二 , 
第 大 A ， HA,.) = A,， 


H, = 了 JT-Bivw ,其 中 
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附录 ] 初等 反射 姬 阵 ( 扯 矩阵) 及 其 性 质 145 


or = sign (a ) | yt (a Ce 1 
tal 


B: = 


' 里 
GE +o,)} 


= (0, a 0 ,2 1 + tik-1) a 


让 是 ， 
‘OY {0 0) £0 
TU a 本 QL ly es ln 
- (ty (1 11) 
-Ta ”aak-i ok Bn 
时 tu-1) CE-1) 
驴 ,_| = TE] lk Elsn |' 
《上 一 1 tL) 
kk En 
tt-1) tk—1) 
mk mr 
0? roy oO Lo} 
-UL Ql ”lg y+ " fi, 
41 £1) ly 
-HT i 和 让 41 2n 
村 CE) tik) 
驴 ，= -TL bEl Pe 
C+ {k+l} 
+ rl 
(E+1) ,, {Fr 
| mn 
令 上 =1,2,…,n, 得 
HH., “HA, 点， 
8 | RR 
nm 一 3 
Ls 
(0) 00) 
-Gil dl ln 
1 《1 
eR 2 hn 
RR | 
一 好。 
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第 9 全 非 线 性 最 小 二 乘法 


9. 1 非 线性 最 小 二 乘法 问题 


9.1.1 问题 的 提出 


给 出 (Xx) (i=1,…,m) , 设 A(x) 为 x E R" 的 非 线 性 函数 , 令 
fxr) = (fx), f(x) 
xX) 为 * 的 向 量 值 旺 数 , 则 


StX) = fF) = (x) F(x) = Fx) 
为 上 的 平方 和 耳 数 . 
无 约束 极 小 问题 
min S(x) (9—1) 
叫 敌 非 线 性 最 小 二 冬 问 题 . 或 者 叫 无 约束 极 小 平方 和 范 数 问题 . 
若 大 (x (i=1,… 人) 为 工 的 线性 函数 , 即 
Jr) = Ax +, 其 中 加 ER， ER， 
则 有 
fx) = Ar + Bb, 


其 中 六 = 


故 le) = laxr + lh- 
此 时 ,问题 (9 -1) 成 为 线性 最 小 二 莱 问 题 . 
9.1.2 问题 的 形 或 
1， 非 线性 模型 的 参数 识别 
设 有 mm 组 观测 数据 


(fF,, YIE=1,,m 
其 中 tt i), 
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2 = ft,) (i = 1,-.…,m). 
令 二 二 《有 st :将 m 组 更 测 数据 (Yi) ,4.32.. nn 列表 如 下 : 
这 39-1 


此 外 还 给 出 函数 y = 瑚 日 的 含 参数 x,(i=1,…,n) 经 验 模型 : 


了 = (Es xs), (9 -2) 
其 中 x, ,xs 为 待定 参数 ,4(9 -2) 式 还 可 简 记 为 
了 (和 
其 中 + = (x,,……,x,) ,显然 , 当 : 取 定 观测 值 时 , 则 
yt) 


为 * 的 非 线 性 函数 . 
现在 的 问题 是 确定 x 使 得 y(t,x) 在 最 小 平方 台 近 意义 下 拟 合 于 
数据 


ts y.)， z= l,m, 


即 求解 极 小 化 问题 
min S(z) = DF (57) 一 区) (9 -3) 
车 令 Frz) -ya -yi(i=1,…,m) 为 第 i 组 数据 的 残 差 , 则 可 令 


a SA 
表示 全 部 数据 的 残 差 向 量 , 此 时 有 


Sx) = DFitx) = MF) ls (9 -4) 


同 线性 最 小 二 乘 问 题 比 较 : 

(1 y(t,,x} 为 x 的 非 线 性 函数 ,因此 它 在 一 般 情况 下 不 能 表 为 独立 
函数 系 ip;(4) 1 .1...., 的 线性 组 合 ; 

(2) 7(2r) 通 常 是 从 具体 问题 出 发 ,通过 经 验 选 型 而 得 到 的 ; 

(3) 对 于 SCx) 的 极 小 点 x ,要 求 上 (rz 天 0. 而 对 YYEUTE ; 
5) ,要 求 扰 (CEz) 一 
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令 Fx) = Vx,TY -Vi = 1,.,22, 
则 有 S(x) = 》 f(x), 
问题 成 为 求 x 使 S(x ) = min S(x). 

2 解 非 线性 方程 组 


设 有 非 线 性 方程 组 
fw ss) = 0, 
ER (9 -5) 
Fx) = 0. 
其 中 避 宇 n, 若 台 =n, 可 用 Newton-Rephon 方法 求解 ,这 里 讨论 天 > 的 
情形 ， 
令 T=) 
FF) = F(x), (x)), 
则 (9 一 5) 可 写成 
Fx) = 0. 
令 S(x) = F(x) F(x) = Fr) 
不 难 证 明 如 下 结论 : 求 x "使 f(x*) =0. 等 价 于 求 x 使 
Stx") = min S(x) , 且 Sr ) = 0. (9 -6) 


事实 上 ,车 存在 x" 使 f(x ) =0, 则 有 fix" )l=0, 即 S(x*)=0， 

但 对 Yx E R", 有 SCx) = 上 (x)1>0, 放 得 
SGz ) = minS(x) = minlf(x)l, 

即 x" 是 SL(x) 的 极 小 点 

反之 , 若 存 在 x* 便 SCx") =0, 刚 由 上 (x ) 有 =0, 必 有 Fr ) =0. 

注意 两 类 极 小 问题 的 区 别 :对 于 参数 识别 问题 49 - 3), 由 于 
fx) 0(i=1,…,m) , 故 SCx”) 关 0, 此 类 问题 称 为 小 残 量 问题 ;而 对 
于 非 线 性 方程 组 求解 所 形成 的 问题 (9 -6), 则 因 ftx* ) =0(i=1,…， 
mm) , 故 S(rx' ) =0, 此 类 阿 题 称 为 零 残 量 问题 . 


9.1.3 解法 概述 
1， 古典 分 析 方 法 
对 于 问题 (9 -3) 或 (9 -6), 令 
w S(tx) = 0, 
由 于 VS(x) = 2DF(x) F(x), 


Dflx) Try = 0， 
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即 [YAGz) Vf) f(x) = 0， 
亦 部 有 

达 Be Se *) 
有 PAX) = 日， 了 = 1,,n. (9 -7) 
显然 ,通过 解 非 线性 方程 组 (9 -7) 来 求解 问题 (9 -3) 或 (9 -6) 都 是 不 适 
官 的 ， 

2， 下 降 算法 


如 前 所 述 ,下 降 算 法 是 一 种 选 代 方 法 ,对 于 极 小 化 问题 49 -1), 设 
FT 后 RR" 为 极 小 点 ,从 Xo。E R" 出发, 按 下 述 步 骤 进 行 迁 代 : 
(1) 取 定 下 降 方 向 po:Y 3S(xzo) po<0i 
(2) 确定 步 长 因子 oo: 努 以 po 为 方向 作 射 线 to + ape, 在 此 射线 上 
定 出 X=xo + oopo 使 得 SCxo + opo) <3(x0): 
(3) 选 代 :以 x =xo + oopo 作为 x “的 第 一 次 近似 值 . 
上 述 过 程 重 复 进 行 直至 满足 收 敏 蕉 则 . 可 以 归纳 成 如 下 算法 : 
初始 点 ;xo 所 到: 
1 = + Pp, 
、 Pa VS(xi) Be<0， 
人 te: SCX + ep) <S(xL), 
下 二 站 ,1 mp; 
终止 法 则 : 若 呈 满足 指定 精度 就 停止 选 代 .并 且 以 了 作为 二 的 近 
伺 值 ,否则 继续 迭代 ,直到 满足 指定 精度 . 


9.2 Gauss-Newton 算法 (简称 G-N 算法 ) 


9.2.1 G-N 方向 的 构造 


对 于 极 小 问题 。 mins(z) = 地 f(x) 此， (9 -8) 


C-N 方法 按 如 下 选民 公式 计算 : 
给 定 初始 近似 x, 令 上 =0,1,… ,计算 
Ti ~ Xe +P, 


其 中 ps =— (AiA.)” V S(x,), (9 -9) 
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A = DE) = [EE] 1,2, ms ,2,0) 
Fi = 

VY SCxL) = Aif. 
在 (9 -9) 中 ,G-N 方向 p, 可 以 看 作 是 Newton 方向 的 近似 . 事实 上 ， 


Be = 一 [YY SO V Sxi), 


而 VS(x) = DFCx,) ECz) + PEAS V(r,) 


=A'A, + fs) Vf (x,). 


当 其 fx) ~ 0 对 YIEU (x SB 
Pi (AMA) V SX) V S(T) = py. 
另 方面 ,G-N 方向 也 可 以 通过 线性 化 的 手段 而 得 到 . 首先 ,将 所 z) 在 
x 处 线性 化 ,即将 天 (rz) 在 到 处 线性 展开 : 
fx) = fx + BR) (2 
于 是 有 
YACx) 
Fr = Fr, + Al ~ f(x) | Ee = f(x) + Ar,, 
VfCx) 
其 次 解 线性 最 小 二 乘 问题 : 
min| A,Ax, + fb, {9 — 10) 
其 中 A = -Xi 
= (m0). 
问题 (9 -10) 的 法 方程 为 
TAX + Aif = 0. (9 -11) 
(9 -11) 的 解 即 为 (9 -10) 的 极 小 解 
Ax, = — (A:A) Ach,, 
此 即 为 G-N 方向 . 


9.2.2 人 G-N 算法 及 其 局 部 收 钱 性 质 


算法 .1 

给 出 初始 点 Xn 及 指定 精度 1 182 1 O33" 
中 置 5=0; 

志 ) 计算 六 = 下 ES = SC 

加 计算 4 = D(z) = [时 ee | 


ax 


《2 上 ,2 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


152 上 篇 ”无 钓 束 是 优化 方法 


及 有,; 

加 计算 gi = VV 5(x) = of; 

加 解 方程 4;4A,Ax, = -g,; 

昌 计算 如 =X + AX,; 

二 计算 大 =) ,Si = iD) 

检查 总- 给 止 准则 . 
若 满 足 , 则 输出 x, ,5,,; 停 止 计算 ; 

否则 ,k++ 二 9) 生 5401; 转 加 

下 面 将 证 明 在 一 定 条 件 下 ,由 G-N 法 所 产生 的 点 列 jz 收 组 于 
S(tx) = 了 (x) (x) 的 稳定 点 x" ,并 且 对 于 零 向 量 间 题 至 少 有 二 阶 收 化 
速率 . 

定理 91 设 

《1 六 ,县 均 汐 ni 阶 方 阵 ; 

(2) 入 和 非 奇异 且 | 4 一 | 大 a 

(3) lB -Alspe; 

(4) a :BB<1, 


则 琶 非 奇异 且 | 上 Bi 专 Tap (9 -12) 
证 ”首先 证 明 B" = (1-4 1B) (9 - 13) 
让 = 旋 
事实 上 , 因 (I -4 BB) =(4 "(4-B))", 
而 aC4-Bl<sla4 | 14-Bl<a.B<l, 
改 (1-4 B)' 存在 , 且 
> (I-A'B):=(I- (I-A 'B)')=B :4, 
所 以 > (I-A'B)'.:A'=B 'A.4'=B,. 
其 次 证 明 | 工 1-418)' :4 < (9 -14) 
因为 (7-41B)' .4 |<| 3 (0-48) :lal 


而 A) 


故 | CA 和 < Ea 4s < (8) 
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a ap 1-ap’ 

此 即 (9 -14) 成 立 . 由 (9 -13) 立 即 可 知 (9 -12) 成 立 . 定理 证 毕 . 

定理 9.2 设 

(1) S{x) =f(x) 呈 (x) ,x" ,为 SCx) 的 稳定 点 ,其 中 ,f(xt) 在 从 = 
lz ilz -x"| <5 内 有 连续 三 阶 偏 导数 ; 

(2) F(x) = VS(r) 的 Jacobi 和 矩阵 Jr) 非 奇异 且 对 Vzx 所 有 2 有 
x) He ow; 

(3) | 08 Cx) | Srijk=1,n) (对 YX EN); 

(4) aafilx) | EACE=1, .mij=1,,n) (对 Yx € 0); 

5) FCx) -AFCx 信和 天 -x (对 Vx Ee nN); 

(6) gllr -x je<r < 地, 其 中 = max( 2wmnLA ,wn ; 

{7) ftx* ) =0, 


则 当 x。E 向 , 接 G-N 算法 9 -1 所 构成 的 序列 |x,| 收 钱 于 x  , 且 有 以 下 
悄 计 式 : 


[x x ls < 20lx -x CVE 0). 


本 定理 采用 数学 归纳 法 证 明 . 在 给 出 证 明之 前 先 对 定理 的 条 件 及 证 
明 思 路 给予 如 下 说 明 ; 
i， Jix}) 是 YW Str) 的 Jacobi 矩阵 , 亦 妈 SLx;) 的 Hesse 上 矩阵, 即 


J(x) = ViS(x) = 2 [4Cx) A(x) 呈 (Ef) yw ) | 


令 Q(x) = 4(z)r4(o，D(r) = (Pfr VY ). 


半 Q(x) = (g(x)) i, 

其 中 gt) = Bafa fr). 
入 7 

其 中 dr = Df) 


给 出 J(x) 非 奇异 , 且 上 7Cx) -lu < 是 为 了 导出 @(x*) 非 奇异 ,上 且 
-1 -- 2 
Ion Near ee; 
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2. 条 件 (3) 一 (7) 都 是 为 了 估计 归纳 结论 中 的 不 等 式 而 设 的 
Ax" ) =0 表示 问题 为 零 残 量 ,因此 本 定理 的 二 阶 收 敏 速率 的 结论 内 是 对 
零 残 量 问 题 才 是 精确 的 ; 

3. 本 定理 欲 证 明 从 x。E 复出 发 , 按 算法 7 -1 所 产生 的 点 列 
x E00 ) , 即 对 Ys >0, 存 在 天 , 当 > 下 时 有 |x,~x*|。<s 且 
[x -x i <2plx, -x NC Yk20). 

上 述 结 论 用 数学 归纳 法 证 明 ”有 即 对 Yk, 车 x*, E 如 ,有 


x -x ls < ox -x ns (9 - 15) 
| 一 于 | = ri | 半 ” | (9 16} 
其 中 i I 
1—r 
由 (9 - 15) 可 得 


lz -x < a Nx, -xls {YEO), 
从 而 当 1 一 >0 时 ,x -x “| 一 0, 即 lmx, =x ， 
再 由 (9 - 16) , 且 注 意 到 -<2, 有 


| > -x | 所 25 ||x, 一 五“ 上 (YE 0). 
下 面 我 们 验证 归纳 法 的 第 一 步 , 即 当 x。E& 从 时 ,有 


lz -x ly < lx。 -zj (9 - 1) 
及 le -x le < lx -> 必 (9 - 18) 

首先 须 证 明 Q(xo》 ”存在 且 有 估计 式 
oto) hh < Ze: (9 - 19) 


事实 上 ,71 =2(@。+ Do) ,Do = 六 万- 纪 , 由 条 件 2 知 ,7 非 奇异 ， 


< 之, 9 -20 
< ( ) 


Df. (x) 610, fx) 


[| 


,lp = mar 


<max FB At) 1- | B30) | (9 -21) 
据 (9 -21) 并 利用 条 件 4, 条 件 5 及 条 件 7 进一步 得 
#7 - Wo 到 AmnLl|xo 一 五 | ， (9 - 22) 


又 因 | 2 - 0, 
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若 取 -2wmnLA ,再 用 条 件 6, 则 (9 -22) 变 为 


| 二 -2 和 了， (9 - 23) 
在 (9 -20) 及 (9 -23) 中 
wm 于 了- 
| 
故 由 定理 9 1 1 ,如 非 奇 异 , 且 
可 
2 20m 2 
lo 
2m 2 
即 49 -19) 成 立 . 
其 次 证 明 
[1 (9 — 24) 
事实 上 ,上 由 于 
Xi -XxX =(x -x0) + (xo -x ) = — 0 go + (Xo — x ) 


= 0 (Q(x —X")— go) 
=Q0 (Q(x -x +B -Bo)), 


>， 一 五 ” 上} <|os | Qo (xo 一 五 ”) 十 《加 ” - go) ly 
| 有， 1。 ” | 去 (wx — Du) (xo -x ) + (Cg, — go) 
了 他 
| “7 
+ polx, -zx )), (9 - 25) 
在 49 -25) 中 , 易 证 


EA — x ) +(g. — Eo) 


| 


Lj x) + (a -so 


生 
< lx x， 
王 


你 ID,liy < AmnLlx, — x" | ， 
2 vn 四 
于 是 得 |x - x" | <301 | 2 + Am lxo -x" ls 


1 2 = ||2 
一 一 一 一 + 2mAmnL) 一 天 "| 
TEA tm [x, 


上 & 号 r 赴 | 和 之 
<] -zs 一 性 必 到 1 -lxo -x I 
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取 a = 一 <1, 于 是 (9 -17) 及 (9 -18) 同 时 成 立 . 


仿照 上 述 证 明 过 程 ,读者 不 难 证 明 (9 -15) 及 (9 -16) 成 立 .[ 注 ] 

例 %3 设 Sz)=(r+l) +(Az +Y-1)2 .27 E R', 试 讨论 请 数 
的 极 小 点 ， 

解 ” 这 是 一 个 一 元 问题 (n=1,m=2), 令 (x) =x+1,f(x) = 
Ax ”+X 一 1, 其 中 x 是 问题 所 要 确定 的 参数 ,而 4 是 任意 常数 . 
i 用 古典 分 析 的 方法 容易 得 到 , 当 和 A <1 时 ,x =0 为 8S(x) 的 一 个 极 小 
点 - 现在 用 6-N 方法 讨论 SCx}) 的 极 小 点 . 

设 初始 点 为 x, 计算 : 


Pe (a C1 


ArA, = 1 + (2Ax, +1), 
A ff = AK + AX? ~ DAX, + 2x,. 
由 4:4Ar = 一 起 ! ,得 
DA 二 MAKE ~ 了， 十 Dx, 
E+ (2Ax, + 1)7 
ARE + AXE + ZAx, 
1 + (2Ax, + 1)?7 
(1) 当 和 =0 时 ,对 于 任 绽 的 初始 点 ,有 二,,, =0, 即 是 说 ,用 G-N 
方法 经 过 一 次 选 代 恒 得 到 极 小 点 ,1 =*”=0. 
(2) 当 Az#0, 且 |A| <1I 时 , 若 假定 初始 近似 总 充分 小 , 则 分 别 将 
(9 一 2 的 分 子 分 母 写 成 ; 
2AX + AT +2A2 = 2Ax, + o(x,), 
1 + (2Ax, + 1)* = 2 +o(lx,), 
[4 Xi! = AX, + olxi). (9 -27) 
由 (9 -27) 反 复 迭 民有 
Kis = AP + olxi), 
因为 |4 | <1, 故 当 p 一 wm 时 ,有 
Tp + 0, 
即 是 说 , 当 和 0, 且 |A| <1 时 ,车 取 初 始 近 似 x 充分 小 , 则 由 G-N 选 代 式 
9 一 27) 所 产生 的 点 列 ix, | 收 仇 于 x*”=0, 而 且 容 易 验 证 {x,| 线 性 收 训 于 x ”= 


Ar, = 


所 以 Fer = T+ AX: = (9 一 26) 


注 : 上 述 定 理 中 所 用 范 数 站， lg , 亦 即 由， 儿 . 
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(3) 当 A< -1 时 ,由 古典 分 析 方 法 可 以 得 到 S(x) 的 极 小 点 x“ 仍 为 
0, 但 由 G-N 选 代 式 (9 -27) 却 不 能 得 到 x”=0, 因 为 此 时 {xi | 不 收 化. 


9.3 修正 的 G-N 算法 (Hartiey 方法 ) 


如 前 所 述 ,G-N 算法 是 一 个 局 部 收 伍 方法 . 它 对 初始 点 的 依赖 性 
很 天, 即 仅 当 充分 接近 极 小 点 x*" 时 才 有 可 能 收 钱 . 修正 方案 有 二 : 
1. 采用 完备 算法 
给 定 初 始点 , 令 大 =0, 1 计算 
Ni) = Xe + OPis (9 -28) 
其 中 pi = — (44,) gio 满足 
SX + CP) = minS (x, + op ). 
在 (9 -28) 中 ,由 于 a, 电 精 确 的 一 维 寻 查 确定 ,从 而 使 算法 放宽 对 初 值 
xu 的 要 求 ,起 到 了 扩大 收 乌 域 的 作用 ,但 在 每 一 选 代 步 都 进行 一 维 寻 查 ， 
其 计算 量 是 相当 天 的 . 
2. 采用 可 接受 点 算法 
给 定 初始 点 *, 令 上 =0,1,… ,计算 
Xi = Xe + oop, (9 — 29) 
其 中 p= - (4 gisoi 满足 
SF， + op) < SIX), 
由 于 p; 关 0 为 SCx) 录 的 下 降 方 向 , 据 下 降 方 向 的 性 质 ,对 于 小 正 数 85>0， 
存在 a (0,5) 满 足 
S(x, + mp) < Sx), (9 - 30) 
但 直接 从 (9 -30} 所 定 出 的 as 很 小 ,从 而 增 大 了 计算 量 ， 
1972 年 ,Meyer 提出 用 另外 的 不 等 式 替 代 (9 -30) ,有 如 下 定理 : 
定理 外 3 设 S(x) 为 可 微 的 严格 凸 蚂 数 , 则 对 于 8 会 (0,1) 的 每 一 
个 值 ,总 存在 一 个 区 间 (0,&) 使 下 式 成 立 : 
Sr Top) Ee Sr) + Pap V S(xs) = SC ) + 2Bopig,, 
{9 — 31) 
其 中 p; = ax 为 下 降 方 商 ， 
土 述 定理 的 一 般 证 明 从 略 , 下 面 就 SCr) 为 上 四 二 次 函数 的 情形 给 予 几 
何 土 的 证 明 ， 
令 3(xi+api) =eofa), 于 是 (9 -31) 变 形 为 
gla) < g(0) + 2Ba pg,, (9 - 32) 
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当 吕 =1 时 .成 立 等 式 
pla) < pf0) +2apig,, 
即 Pm) EE pe0) + PON. (9 — 33) 
(9 -33) 是 抛物 线 gto) 在 a=0 处 的 急 线 TUt 图 9 -2) 的 方程 . 
4 一 pa) 


v=p0} £0 


图 9 一 2 


当 B=0D 时 ,gp(a) =p(0) ,此 时 wtoa) 垦 化 成 水 平 线 . 因此 我 们 愉 考 
虑 当 有 E (0,1) 时 ,寻找 a E(0,a) ,使 (9 -32) 亦 即 (9 -31) 成 立 ， 


例如 ,容易 证 明 ,对 于 十 二 次 本 数 g(a) , 若 取 B= 方 , 则 存在 [0,a* ] 
(其 中 心 为 oa) 的 极 小 点 ), 当 ww EL0,a  ] 时 (9 -32) 成 立 . 
当 B= 广 时 ,在 (9 -32) 中 取 等 号 , 则 有 


Play = ot) Fap's, = 8(0) + Fap'(0). (9 - 34) 


(9 一 34) 即 是 二 次 曲线 p(a) 过 (0,9t0)) 及 (a ,Pa  )) 两 点 的 制 线 . 

从 图 (9 -2) 看 出 , 当 B 从 1 减 至 0 时 ,区 间 [0,a] 的 范围 随 之 变 大 . 

下 面 进一步 解释 不 等 式 (9 -31) 的 作用 ,在 (9 -31) 中 ,因为 p; 为 下 
隆 方 向 , 则 由 于 Pg <0,a 有 >0, 故 式 中 第 二 项 为 负 , 即 

SEX + oP) < SCX,), 

并 且 由 于 ao.B >0 为 适当 小 的 正 数 ,致使 5(x + opi) -Stx4) 保 持 一 定 
的 数值 , 即 是 说 满足 (49 -31) 的 a 不仅 保证 SC(X) 过 Xx; 沿 qspi 方向 移动 
时 函数 值 下 降 , 面 且 使 下降 量 保证 一 定 的 数量 ,这 就 使 在 保证 函数 值 下 降 
的 前 提 下 at 不 会 太 小 ,从 而 减少 秋 代 的 次 数 

1970 年 ,Meyer 还 进一步 证 明 ,os 满足 (9 - 31) 的 可 接受 点 算 尘 所 产生 点 
列 {z,j 是 收 徊 的 . 上 壕 算法 由 于 避 例 了 精确 的 一 维 寻 查 而 受到 重视 . 

算法 和 23{ Hartley-Meyer 算法 》 

只 将 算法 请 1 的 第 六 步 如 下 修改 ,其余 步 又 不 变 : 


令 Ti = to, 
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其 中 es 通过 如 下 步骤 确定 : 
个 令 os=1,8=10 一 ; 
@@ 检查 S(z + ap,) 所 5S(x1) +2Bapi gi 
是 , 令 , = Xi + op;; 转 算法 9.1 的 DD， 


团 置 a = 子 , 转 加 


9.4 Levenberg-Marquarat 算法 (简称 L-M 算法 ) 


收 正 G-N 算法 的 另 一 条 途径 是 改善 矩阵 4,4, 的 性 态 - 我 们 知道 在 
f7-N 方向 
ps =- (AiA,) 'g, 
中 ,454, 的 性 态 对 p, 的 影响 很 大 . 当 4:4, 奇异 时 ,Pp 的 构造 遭 到 厂 环 ， 
从 而 使 选 代 进行 不 下 去 ; 当 444, 病态 时 ,通过 法 方程 
ALAD; = 一 用 
所 得 的 解 会 严重 失真 . 

为 了 克服 上 述 两 种 异常 情形 .有 以 下 两 种 方案 可 供 选 择 ; 

1. 在 每 次 和 迭代 中 , 均 用 Golub 方法 解 线性 最 小 二 乘 问题 
min 上 A,p, + 天 此. 这 样 做 的 缺 点 是 增加 了 计算 复 林 性 ,尤其 是 4 列 降 秩 ， 
即 474, 奇异 时 尤为 突出 ;其 次 采用 Golub 算法 失去 了 灵活 性 , 即 对 于 基 
些 进 代步 ,尽管 414, 条 件 较 好 ,但 仍 当 成 病态 处 理 . 

2， 采 用 对 系数 矩阵 阻尼 的 方法 ,这 种 做 法 不 是 放弃 法 方程 而 是 改造 
法 方程 ,使 其 条 件 变 好 ,并且 对 于 某 些 夺 代步 , 当 其 44 条 忻 较 好 时 , 即 
恢复 为 G-N 算法 . 


9.4.1 L-M 算法 的 基本 想法 


L-M 算法 的 基本 想法 是 ,通过 对 414; 的 正则 化 改善 其 条 件 . 容易 验 
证 ,对 于 正 半 定 所 阵 474,, 当 严 >9 时 ,4:4s+H 为 正定 ,因此 ,我 们 可 以 

选择 适当 大 的 只 >0, 修 改 法 方程 为 
(414， + pI)p: = -Arf 《9 — 35) 

称 (9 -35) 的 解 , 芽 

pitn) = 一 (ArA, + uf) A (9 — 36) 
为 收 小 的 G-N 方向 . 往 后 将 证 明 ,pi (1) 的 模 随 yr 的 增 大 而 减少 . 因此 了 
适当 大 的 如 >0, 以 (9 -36) 为 寻 查 方向 ,5S(x) 的 值 将 减少 , 即 是 说 如 下 算 
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法 的 下 降 性 得 到 保证 : 
Xi 给 定 ,I =X 十 天 到) 
Piljes) =— (4 +pD "Arf, k=0,1,. (9 -37) 
(9 -37) 基 是 L-M 算法 的 粗略 轮 廊 . 显然 该 算法 的 关键 在 于 每 次 迁 代 时 ， 
如 何 选 择 适当 的 >0 以 保证 其 下 降 性 质 . 为 此 ,需要 弄 清 楚 如 下 几 个 
问题 : 
1. 修正 的 CN 方向 py (4) 与 线 件 最 小 二 飞 问 题 min||4,p, + 天 外 有 
什么 关系 ? 
2. pt) 与 上 >0 的 关系 ? 
3.PxskA) 与 最 速 下 降 方向 -8 = -441 的 关系 ? 
4. SOx) 过 沿 P(A) 移动 时 的 下 降 草 ? 
解决 上 述 四 个 问题 构成 了 L-M 算法 的 全 部 理论 . 


.4.23 L-M 算法 的 基础 定理 


定理 3.4 设 (1) yy 产 0 为 络 定 的 实数 
(2) Pi 上) 为 方程 (A1A， +ul)p, = -A:f, 的 解 , 其 中 pp, =x -x , 则 
P(t) 为 二 次 函数 SCP,) 和 |Ap, + 上 ,在 闭 球 lp la 中 上 的 最 


纺 解 , 即 
S(pi(1)) = mipS(p,), 
其 中 B, = Bx, Np, Cn) ,). 
证 : S{pi) = A ps + fl =f If, +2(47 1.)" +pIATAp,, 
由 条 件 (2) ,得 


S(ps) = Ff -pp pn) Tp, ~ 2p1 (1) ATA Dp, + pIATAp,, 
而 SC(pilp)) = ff -2pps(p) pp) -2pi(p) ATA Pp, (1), 
故 SC(ps) - Sp,(1)) 

= (p18) — pi) (Pi 人 -Pi) + Hp) - pi) ~ pil) -2,) 

+ 下 (PE) pitt) — pip,). 

因为 474, 正 半 定 , 故 对 于 VYp, E B,, 由 于 Pt) -Piz#0, 有 
(PH) 一 及) AAPlp) - pi) 0, 
及 (pelp) — pr) (pl1) - pi) > 0, 
六 因 p E B,, 有 
Pi(p)pslp) -prpe = dpa} - lp,l: = 0, 
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所 以 对 于 Yp, Ee B,, 有 
S(p) - SCpi(n)) 2 0, 
即 p,(j) 为 5S(p,) 在 B, 上 的 极 小 点 . 


161 


定理 9.4 表明 ,对 法 方程 44 = -有 4; 下 加 入 阻尼 项 ,相当 十 在 原 
有 线性 最 小 二 乘 问题 上 加 上 约束 条 件 ,其 作用 在 于 , 当 A;4; 奇异 ,因而 


有 ThA,p = -4 天 无 确定 解 , 即 SCp,) 在 R* 上 无 唯一 极 小 点 时 ,通过 阻尼 


步骤 ,使 SCp,) 在 8, 上 获得 唯一 极 小 点 p, (4) ,尽管 S(p,) 不 能 在 p, 上 
获得 最 小 值 (最 大 限度 的 下 降 ) ,但 能 在 中 方向 上 获得 约束 条 件 下 的 极 


小 值 ,从 而 达到 下 降 的 目的 . 
定理 .5 设 (1) p>0 为 给 定 的 实数 ; 
(2) pi(p) 为 方程 (A444, +nDp, = 一刀:f 的 解 . 
则 1, 要 是 号 的 连续 下 降 函 数 , 且 当 产 一 o 时 ,psCa) 下 一 "0. 
证 4:4， 为 实 对 称 半 正定 和 矩阵 , 故 存 在 正 交 阵 和, 使 得 
CAAC = M = diag(A,,… ,A,), 
其 中 4, 守 0(i=1,…,n) 为 A14, 的 特征 值 . 


由 条 件 2 (AiA, +1D)p, = - Ak, 
得 Cd 4 +TEETCCP = -4 ， 
即 (CM + Cp, = -CC 
因为 名 >0, 且 用 为 半 正 定 , 所 以 了 及 +pI 为 正定 ,从 而 (于 +7) 
在 , 故 有 
pitp) = - CM tl) 4. 
念 w = CCA, 
则 Pi(R) =- CM +l) ww, 


所 以 pC =pip) pp) = w M+AD) CCM + oD) w 
=w CM +a w= w (M+taD)) w 


其 中 Ww = (Wi 
由 于 六 ,A, 宇 0 人 =1,…,n) 均 为 与 记 无 关 的 常数 , 故 
| pC) ls = bp Er 
是 的 连续 单调 下 降 函 数 ,是 当 一 时 ,lp (2) 一 0. 
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容易 验证 Ppa“ Pa = pe: 
现 将 (9 -39) 的 分 子 的 三 个 式 子 搁 成 


a 二 2 本 (2 +A) > wpa 
a we [ta) 
2 BAe Pw, 
(p+) er I ra 
并 
和 (+ IT ei 
(Pups) (Buips) - (并 re) 
[Eo (De) 


《二 t= 


所 以 中居 ) = 


1 


(9 -41》 
在 (9 -41) 中 ,对 于 >0, 分 母 是 有 意义 的 , 且 为 正 数 , 故 中 '(p) 的 符号 取 
决 于 分 子 的 符号 , 利用 Cauehy-Sehwars 不 等 式 , 可 以 证 明 


(BDuips) (Dripa) - (Twipe) > 0， 
困 此 :对 于 > 站 ,中 【上 空 站 , 即 忠 4) 为 呈 的 连续 单调 上 升 国 数 , 且 由 
(9 -38) 知 , 当 训 >0 时 


中 (及 ) = 


2 1 


| (Be) 


【一 】 由 ， 
(1 + 了 | 
帮 当 jw 时 ,中 Cp) 一 1 
定理 9.5 及 定理 9.6 表明 ,修正 的 G-N 方向 , 即 Pu(4) 当 所 >0 时 ,其 大 
小 pf) 随 一 w 而 趋 于 0; 其 方向 随 p 一 % 而 与 8 = -4sf; = 


-了 SCxi) 的 方向 一 致 (中 (一 1 即 (Pe (AD) 8) 一 0), 如 图 9 ~3 所 示 . 
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(2) Q(x) =4(xz) AT) 在 Cro) 上 正定 ; 
(3) | 是 以 x 为 初始 点 的 工 - 隆 序列 ， 
则 |x | 必 有 极限 点 , 且 它 的 所 有 极限 点 都 是 $S(x) 的 稳定 点 . 
证 ”首先 征明 [xj 必 存 在 极限 点 . 
内 为 {x 为 L-M 序列 , 故 对 wz, 有 Sr ) <S(r;)， 
所 以 {xil CCCTo)， 
而 据 条 件 (1) ,ix,' 中 必 存 在 收 化 的 子 序列 ix | , 即 当天 一 时， 
Ri CC C(x), 
内 此 xi 在 Ctxo) 中 必 存 在 极限 点 . 
其 次 , 设 x 为 1xii 的 任 一 极限 点 ,用 反 证 法 证 明 x "为 5(x) 的 驻 点 . 
设 相 反 ,x 非 3(x) 的 驻 点 , 即 g(x*) 0. 
由 妇 (*z ) 正 定 , 合 (x ) +l >0) 亦 正定 有 


gp =-g" (Q(x) +pD) < (9 ~ 43) 
另 一 方面 , 因 5S(x) 满 足 定理 9.7 的 条 件 , 故 对 于 任意 给 定 8 E (0,1) ,总 
存在 此 >0, 使 

Sx, + PAH)) s Sr) + 2pBp, Cp) g,. (9 - 44) 

将 工人 代入 (9 -43) ,有 
SOr + pi) < Sx,) + 2Bp!g,. (9 - 45) 

因为 OES) <S(X), 
即 1S(x;) 为 单调 下 降 有 界 序列 , 故 必 有 极限 ， 
所 以 lim S(x%,.1) = lim SCra)， 


如 由 St*) 的 连续 有 
lim S(xi..1) = limS(x,,) = Stx" ), 


再 考虑 到 g(x} 的 连续 性 ,在 (9 一 和 45) 中 令 不 一。 ,有 


St(x’) a Sx ) +28p''g', 


即 268p ”8 ”六 0， 
亦 即 8 ”学 0， (9 - 46) 
由 于 (9 -46) 与 (9 -43) 乎 盾 , 故 得 

s(x ) =0. 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


168 上 和 芒 ”无 约束 最 优化 方法 


定理 9.8 内 表明 了 1x;1 的 极限 点 为 Stx) 的 稳定 点 ,如 果 再 加 强 条 
性 , 便 可 证 得 1x,| 收 人 第 于 35L*) 的 稳定 点 - 

定理 %9 设 (1) S(z) 对 于 zo 的 水 平 集 C(z) = jzr|S6zr) 
StxX0) | CR" 是 列 紧 的 ; 

(2) 5S(x) 在 Ctxo) 上 至 多 有 有 限 个 稳定 点 ,使 之 在 其 上 有 任意 给 定 
的 值 ; 

(3) Q(z) 在 CtxoY 上 正定 ; 

(4) {xl 是 以 xo 为 初始 点 的 工读 序列 ， 
则 jx 收 化 于 3tx) 的 稳定 点 - 

证 明 略 ,请 参阅 参考 文献 [11 第 七 章 定理 7. 7.2. 

定理 和 10 设 (1) tx.| 为 上 -Mf 序列; 

(2) fx 收 笋 于 SCz) 的 某 个 稳定 点 二 ; 

(3) g 为 Qtx')=4(x")"A(x") 的 最 小 特征 值 ; 

(4) y= max | | Yi |, 其 中 (i=1,…,n) 为 rn 阶 矩阵 及 (x” ) 的 特 


征 值 , 这 里 R(x) = 2 hx) vif (x); 


(5) Ws 

(6) p< 3e, 
则 有 (1) x ”为 SCY) 的 严格 极 小 点 : 

es = | 

(2} Jim 一 一 一 一 


< 本 
ie 


证 明 略 ,请 参阅 参考 文献 [1] 第 七 章 定理 7.7. 3- 
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最 优化 方法 和 理论 来 源 于 军事 管理 和 经 济 . 我 国 古代 军事 天 才 太 武 
所 著 # 和 三 子 兵法 成 书 于 公元 前 5 世纪 春秋 末期 ,是 我 国 也 是 世界 上 最 古 
老 的 军事 理论 著作 .《 和 孙子 兵法 ?十 三 篇 把 军事 运筹 学 的 思想 、 理 论 和 方 
法 阐述 得 淋漓 尽 致 ,可 户 达 到 了 神化 的 地 步 , 连 外 国人 也 对 孙武 于 倍加 质 
党 ,1984 年 美国 军事 运 短 学 会 出 版 专著 Systems 点 nalysia and Modeling in 
Defence”, 书 中 称 孙 武子 是 世界 上 第 一 个 军事 运筹 学 的 实践 家 . 

两 次 世界 大 战 , 尤 其 是 二 战 中 提出 了 很 多 军事 最 优化 问题 ,诸如 搜索 
潜艇 问题 ,护航 问题 布雷 问题 ,这 炸 问题 以 及 运输 问题 等 等 . 二 版 中 所 提 
出 的 军事 问题 及 其 解 湛 方法 有 如 下 特点 : 

数据 是 实践 中 的 真实 数据 ; 解 普 问题 的 人 员 组 成 是 堵 学 科 的 ;处 理 问 
题 的 方法 渗透 着 物理 学 的 思想 ， 

第 二 次 世界 大 战 以 后 最 优化 方法 的 庶 用 由 宪 事 问题 转 人 民用 癌 题 ， 
提出 了 现代 管理 的 理论 和 方法 ,如 计划 管理 .运输 管理 .工程 建设 管理 . 库 
存 管 理 . 工 业 工 程 管理 等 等 . 

1930 年 ,苏联 数学 家 康 托 诺 维 奇 (Cantolovch ) 首创 图 上 作业 法 解 类 
小 规模 (以 二 维 为 主 ) 的 线性 规划 问题 ,如 物资 调运 方案 .合理 下 料 方案 
等 . 大 大 现 模 的 线性 规划 (高 维 问题 } 则 是 在 电 于 计算 机 问世 以 后 才 得 以 
发 展 ; 

1936 年 ,美国 经 济 学 家 列 郧 节 夫 首创 投入 产 出 分 析 法 ,而 反映 国民 
经 济 动态 运行 的 大 型 投 人 产 出 表 的 制定 也 是 在 大 型 计算 机 的 支持 下 才能 
够 实现 ; 

1935 一 1940 年 ,道奇 (Dodge) 和 和 白 莱 瘟 (Blaket) 首创 统计 抽样 法 ,为 
此 后 数理 统计 学 科 发 展 竟 定 基础 

二 战 以 后 ,科技 和 工业 的 蓬勃 发 展 引起 了 许多 新 的 变化 ,主要 表现 
在 :生产 规模 日 益 庞 大 .生产 技术 日 益 复 杂 ,商业 经 营 日 趋 国际 化 、 环 境 污 
染 和 生态 问题 日 益 严 重 . 管理 人 员 和 计划 人 员 面 临 十 分 复杂 的 问题 , 追 切 
需要 一 种 统筹 兼顾 , 行 之 有 效 的 科学 方法 来 处 理 复杂 的 管理 问题 .最 典型 
的 例子 即 是 邮递 员 问 题 (或 者 旅行 商 问 题 ) 及 阿波 罗 登 月 发 射 工程 . 

例 1 邮递 员 ( 旅 行商 问题 ) 

一 部 邮 车 从 一 个 城市 向 另外 十 个 城市 运送 邮件 ,每 一 个 城市 只 去 一 
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次 ,可 行路 线 为 101 =3 628 800 条 ,这 类 问题 理论 上 的 可 行路 线 上 百 万 、 
上 千石 ,如何 寻求 最 短路 径 是 实践 中 臣 竺 解 染 的 问题 . 动态 规划 方法 为 求 
解 此 类 问题 握 供 了 数学 手段 . 

例 2 阿波 轩 登 月 发 射 工程 

由 300 多 万 个 零件 组 成 ,动员 2 万 多 家 企业 ,120 所 大 学 和 研究 所 大 
加 ,平均 每 年 占用 科 万 科技 人 员 ,历时 12 年 <1960 年 至 1972 年 ) ,耗资 
250 亿美 元 ,如 此 诺 大 的 工程 用 传统 的 管理 模式 是 无 法 想像 的 ， 

解决 此 类 问题 的 数学 模型 即 PERT{ 计划 评审 技术 ) ,通过 关键 工序 
形成 工程 网 络 图 确定 优化 的 决策 方案 . 

在 PERT 基础 上 发 展 起 来 的 实用 管理 技术 有 二 三 十 种 ,诸如 PERT/ 
成 本 ,PERT/ 可 靠 性 ,LCESt 最低 成 本 和 估算 计划 ) ,MAEPF( 人 人力 分 配 )， 
PACP( 产 品 分 析 控 制 ) 等 等 - 国际 上 称 灶 此 种 管理 技术 为 ”经营 管理 科学 
上 的 决策 性 牙 进 ” , “在 管理 方面 的 重要 突破 ". 我国 从 20 世纪 50 年 代 
起 ,在 电子 计算 机 的 研制 .飞机 总 装配 等 方面 采取 此 种 管理 技术 取得 了 很 
天 的 成 巧 ， 

下 曾 着 重 介绍 数学 规划 的 一 些 重 要 分 去 的 进展 - 

1. 线性 规划 (常用 算法 见 本 书 第 10 ~11 章 ) 

它 是 最 优化 方法 发 展 最 迅速 ,成 就 最 大 的 一 个 分 支 . 线性 规划 发 展 的 
爆炸 时 期 是 20 世纪 50 年 代 至 60 年 代 , 其 葛 基 人 应 是 前 苏联 数学 家 康 托 
诺 维 奇 (Cantolovet 和 美国 数学 家 丹 艾 (G., B., Dantzig). 

1947 年 ,Dantsig 提出 了 秦 动 数学 界 的 单纯 形 法 ,为 求解 高 纵 线 性 规 
划 问 题 担 供 了 一 般 的 有 效 的 工具 ; 

1950 一 1965 年 ,匈牙利 数学 家 库 恩 (再 页. Kuhn) 和 塔 丈 《和 点. 下 . 
Tucker) 建立 了 线性 规划 的 对 情理 论 , 为 求解 莹 点 问题 提供 了 数学 工具 ， 
两 位 年 轻 的 数学 家 建立 约束 极 值 的 最 优 性 条 件 被 称 为 KT 了 条件 ,为 求 
解 非 线 性 规划 莫 定 了 理论 基础 ; 

1958 年 ,美国 数学 家 R,. 了 .Comery 提出 整数 规划 的 割 平 面 法 ; 

1960 年 ,Dantzig 和 英国 数学 家 维尔 夫 (P. Wolfe) 研究 成 功 线性 规划 
的 分 解 算法 ,该 算法 为 求解 大 规模 线性 规划 提供 了 有 力 的 工具 ; 

1970 一 1984 年 ,前 苏联 数学 家 卡 软 扬 {LL. G6. Khachiyan) 和 美国 数学 
家 卡 马 尔 卡 (N. A. Karmarka) 先后 提出 并 完成 了 线性 规划 的 多 项 式 算法 ， 
变动 了 整个 数学 界 . 

2， 非 线性 规划 (20 世纪 70 年 代 的 丰硕 成 果 ) 

(1) 无 约束 极 值 问题 (常用 算法 见 本 书 第 3~9 章 ) 

1959 一 1963 年 ,由 三 位 数学 家 共同 研究 成 功 求 解 无 约束 问题 的 DFF 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


附录 了 最 忧 化 方法 的 发 展 进程 171 


变 尺 度 方 法 {该 算法 是 由 英国 数学 家 WW. C. Davidon 提出 ,由 法 国 数学 家 
R. Fleteher 和 美国 数学 家 M. JJ D. Powell 加 以 简化 ). 该 算法 的 研究 成 功 
是 无 约 东 优化 算法 的 一 个 大 飞跃 ,引起 了 一 系列 的 理论 工作 ,并 陆续 出 现 
了 多 种 新 的 算法 ; 

1965 年 ,德国 数学 家 C. G. Broyden 提出 了 求解 非 线性 方程 组 的 拟 
Newton 法 ,并 且 该 算法 还 包容 了 DFP 算法 ; 

1970 年 ,四 位 数学 家 从 不 同和 角度 对 变 斥 度 算法 进行 深入 研究 ,提出 
了 BFGSI#]1 公 式 . 实 威 表明 该 算法 较 之 DFP 算法 和 拟 Newton 法 具有 更 好 
的 数值 稳定 性 - 

1970 年 ,无 约 东 人 忧 化 方法 的 研究 出 现 了 引信 注目 的 成 果 . 英国 数学 
家 L. C. WW. Dixon 和 美 籍 华人 B.Y. Huang 提出 了 关于 “二 阶 收 伍 算 法 的 
统一 研究 "的 研究 成 果 ,该 成 果 提 出 了 一 个 合 三 个 自由 参数 的 公式 族 一 
Huang 族 和 拟 Newton 公式 , 它 可 包容 前 面 所 介绍 的 所 有 无 约束 优化 
算法 . 

例 3 香 基 函数 (Banana Function) 

flx) = Kaigs) = 100(i ~- #7) + (1 —- x1), 
x = 19 2 x = (1,1) Ar ) = 0. 

在 本 书 险 录 亚 Matlab 的 演示 程序 中 , 列 出 了 求 该 二 元 函数 极 小 点 
x" 的 六 种 无 约束 算法 : 

DFP, BFGS, Steepest, Simplex, Gauss — Newton( G — N), Levenberg ~ 
Marquardt(L — M). 

上 述 六 种 算法 的 效果 比较 ;: 

从 x 中 出 发 能 全 程 达 到 x "的 算法 :DFP,BFGS,Simplex,L -MM; 

从 x* 空 出 发 员 能 搜索 到 举 途 的 算法 :Steepest; 

只 能 从 2 "的 邻 点 出 发 而 村 到 x 的 算法 :G-N; 

从 x 出 发 ,最 快速 达到 x "的 算法 :DFP ,BFGS; 

(2) 约 东 极 灶 问 题 (常用 算法 见 本 书 第 14 ~17 章 ) 

约束 极 值 的 数学 模型 是 

min f(x), fixENn—~R 


了 语 只 万 再 


N= jg8(z) 0 i=1,2, ,mh (xr} = 0,7= 2 


注 ; B 一 一 C. .Broyden 她 国 数学 家 ， 
F 一 一 R. Fletcher 法 国 数学 家 ， 
CC 一 D.Coldfarb 德国 数学 家 ， 
5 一 一 DF. Shanno 瑞 十 数学 家 
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求解 上 述 问题 的 基本 算法 是 : 罚 函 数 法 、 可 行 方向 法 .投影 梯度 法 . 

20 世纪 70 年 伐 以 来 , 非 线 性 规划 算法 有 较 大 的 进展 ,主要 表现 在 三 
个 方面 ; 

第 一 ,对 罩 隙 数 方法 的 改进 一 一 莱 子 法 和 精确 罚 函 数 法 

1970 一 1976 年 ,德国 数学 家 Hestenes 和 美国 数学 家 Powell, Rockafel- 
lar 等 握 出 了 Lagrange 乘 子 法 及 增 广 Lagrange 乘 子 法 ,该 种 算法 有 效 地 克 
服 了 神 四 子 增 大 导致 加 问题 出 现 病态 的 缺陷. 

为 了 克服 罚 本 数 法 需要 求解 一 系列 无 约 东 极 小 问题 的 缺陷 ,有 大 试 
图 通过 解 单个 无 约束 极 值 问 题 来 代 蔡 原 问 题 , 即 是 找 出 一 个 精确 罚 画 数 . 

第 一 个 精确 罚 尊 数 是 荷兰 数学 家 到 .1. Zangw 记 提出 来 的 ,最 初 他 是 
针对 凸 规划 提出 来 的 ,以 后 叉 将 此 方法 推广 到 非 止 规划 ,但 推广 的 算法 遇 
到 了 麻烦 , 妈 在 可 行 域 的 边界 上 往往 是 不 可 微 的 . 为 此 法 国 数学 家 
Fletcher 首先 研究 了 可 微 的 精确 及 函数 算法 . Fleteher 的 工作 把 罚 兽 数 的 
改进 算法 推 上 了 一 个 新 的 平台 . 

第 二 ,对 可 行 方 向 法 的 改进 一 一 “ 反 锡 齿 措 施 ” 

1960 年 ,荷兰 数学 家 G. Zoutendijk 所 出 了 线性 约 东 下 的 可 行 方 向 
法 ,但 车 将 此 法 推广 至 非 线 性 约束 时 则 会 发 生 所 谓 “ 锯 齿 现 象 ”, 即 算法 
收 合 很 惕 ,甚至 收敛 不 到 下- 人 点. 

例 4 (Wolfe 反例 ) 

20 世纪 60 年代, 英国 数学 家 M. A. Wolfe 构造 了 一 个 具有 唯一 极 小 
点 的 凸 规划 问题 ,但 用 Zoutendijk 的 方法 计算 出 现 了 反常 一 一 锯 此 现象 . 


, 本 
min (x — XX + XI) 十 和 


cn| 3 
a. tx 0,7= 1,2,3. 

该 问题 有 唯一 的 民 K-T 点 x = (0,0,0)", 由 于 x 的 非 负 性 , 故 x' 为 
问题 的 极 小 点 . 


若 取 初始 点 xm = (a,0,c)", 其 中 0<a< 计 ,e > 人 + 呈 全 用 Zou: 
tendijk 的 可 行 方 向 法 产生 选 代 点 列 1x 中 | , 则 当世 ro 时 ， 
EX (9.0.¢ -val 和 | 关 下 ”. 

为 此 ,1966 年 ,Zoutendijk 又 所 出 “反馈 此 措施 "的 可 行 方向 法 , 称 为 

“s - 紧 约 东 可 行 方 向 法 ” ,该 算法 对 非 线性 约 东 问题 出 现 的 “ 蚀 齿 措施 ” 


得 到 了 有 效 的 通 制 . 
第 三 ,对 投影 梯度 法 的 改进 
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通过 投影 算 子 产生 可 行 方向 或 近似 可 行 方 向 ,是 把 无 约束 优化 方法 
推广 到 约束 优化 问题 的 另 一 类 重要 方法 , 英国 数学 家 Rosen 的 投影 梯度 
法 是 解决 线性 约束 问题 的 首创 ,但 该 方法 存在 两 个 问题 . 

一 个 问题 是 收敛 性 没有 得 到 证 明 . 1969 年 E. Polak 对 Rosen 方法 所 
则 了 相当 复杂 的 修正 ,并 证 明 当 目标 函数 为 凸 函 数 和 某 些 正则 条 件 下 ,该 
修正 算法 收 全 到 最 优 解 ;1978 年 中 国 科 学 院 应 用 数学 所 桂 湘 云 , 章 祥 苏 、 
赖 炎 连 等 人 对 Polak 方法 作 了 改进 ,使 之 在 较 弱 的 和 茶 件 下 收 敏 :1979 年 ， 
桂 湘 去 、 吴 方 、. 束 类 连 对 Polak 方法 作 了 进一步 改进 ,并 在 目标 函数 八 *) 
为 凸 的 条 件 下 证 明了 改进 算法 的 收敛 性 ， 

另 一 个 问题 则 是 对 非 线性 约束 问题 ,Rosen 方法 所 产生 的 投影 梯度 
一 般 说 来 不 再 是 可 行 方向 . 1979 年 我 国 数学 家 张 承 黑 与 下 人 伟 对 Rosen 
方法 提出 一 个 改进 算法 ,该 算法 将 梯度 方向 与 投影 梯度 方向 进行 线性 组 
全, 使 之 成 为 可 行 方向 , 即 所 谓 的 饶 边 现象 ( Hemspitching) ,可 导致 算法 
的 缓慢 收 合 ， 
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第 1.2 章 习 题 


1. 画 出 下 列 函 数 的 等 值 线 ,并 指出 函数 值 为 正和 负 的 世 域 ; 若 有 极 小 点 , 则 指出 
它 的 坐标 . 

{1) fix za) 一 3 十 32 — 6x, +5. 

《2 所 sta) = 

(3) 所 ax = 和 一 人 

(4) f(x ga》 =2 + x2. 

2， 把 下 烈 二 次 函数 写成 矩阵 形式 ,并 求 各 函数 的 航 小 点 及 其 极 小 值 - 

(C1) fAxi sx) = 和 + + 

(2) fix ,ry sry) 二 3x1 十 4x3 十 xz — Dr Xa + Bx — Ax + Sxs + 10. 

3. 求 下 列 靖 数 的 梯度 及 在 指定 点 的 梯度 值 . 

(C1) fry sw} =3r 一 4xizs +x ,在 zx=(0,1)7. 

(C2) FAL) ,X,Y ) = 好 + + 3 在 {1， 1,3) 

4. 求 下 列 函 数 的 梯度 和 Hessian 矩阵 : 

C1) Fx) = + Dr + Bx — dr x 

{2) F(X) =3x + et; 

(C3) fx) =In (x + x xy 十 5 

(4) FxY = x + ln( x x ). 

5. 设 避 是 nxw 对 称 阵 ,x 是 n 维 向 量 , 试 证 : 

(1) V(r x) =2*; 

{2} V(x Q7) =20x; 

(37 TY r=I: 

(4) VIQr) =0. 


6， 把 函数 汽 z,y) =sin xsin y 在 点 { 元, 于 】 处 的 邻 域内 展 成 Taylor 级 数 ,直到 


二 次 项 为 止 . 
7. 试 证 *” = (1,1)" 是 函数 
所 一 时 和 二 【1 十 区) 
的 严格 全 局 极 小 点 ,并 应 用 Laylor 展开 式 求 这 个 薄 数 在 x 处 的 分 域内 的 二 次 函数 近 
似 式 . | | 
3. 试 证 x”= (0.0)" 是 函数 
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所 一 4x1 + 和 一 Fi 
的 严格 全 局 极 小 点 ,而 上 =( -2 加 ,4) 和 ?=(2w2,4) 是 鞍点 . 
9. 设 F: R' 一 有 R' 定 义 如 下 : 
ry = Tr"Ar — Britiec, 


其 中 是 为 上 xn 对 称 阵 , 若 是 线性 方程 组 4x = 的 解 , 试 证 : 
{1) 丰 为 正定 时 ,x “是 所 7) 的 一 个 严格 局 部 极 小 点 ; 
(2) 有 4 为 负 定 时 ,x “是 所 +) 的 一 个 严格 局 部 极 大 点 . 
10. 设 A: RI 一 Ri = 1 ,m) 拘 为 凸 集 DDC R* 上 的 凸 画 数 ,证 明 不 z) = 


上 (x) 也 是 册 集中 上 的 晤 函数- 


11. 设 f 及 "一 :是 凸 集 DCR* 上 的 凸 函数 , 且 令 5= fx ED|Ar)>al ,其 中 
4 为 实数 , 试 证 明 3 为 凸 集 . 

12， 设 上 六: 及 "一 及 定 沈 为 

Ax} = (x 一 让 x, + 《2 一 1Y) ， 

也 是 含 点 xz"” =(1,1) ”的 凸 集 , 试 证 

{1) 天 xz 在 卫 内 是 严格 凸 的 ; 

(2) x* 是 并 x) 在 DD 内 的 严 档 全 局 极 小 点 . 

13, 设 /: R" 一 RR' 为 9 题 中 所 定义 的 二 次 函数 , 试 证 明 

(1) 若 态 z) 是 凸 画 数 , 刚 4 半 正 定 ! 

(2) 车 产 r) 是 严格 凸 函数 , 则 4 为 正定 . 

14. 设 目 标 函 数 f(zi ;x0) = 癌 +522, 现 在 从 点 各 = (1.1) 出 发 沼 p= 
{ -2, -1)' 的 方向 作 直 线 搜索 , 试 求 搜索 到 的 极 小 点 <, 并 验证 Y / 作 2) "p=0. 

15. 设 元 二 次 函数 

fxr) = x"Qx 十 下 十 


其 中 如 为 n xn 对称 正 定 盾 阵 , 试 证 :从 任意 点 xo (但 WA) #0) 出 发 浪 记 = 
- 委 ”YA7xzo) 的 方向 对 不 *) 作 直线 搜索 所 得 到 的 极 小 点 z 愉 是 九 z) 的 极 小 点 :而且 


是 优 步 长 因子 等 于 1， 
16. 设 R” 中 的 序列 1x,1 收 傅 于 x“ ,车 存在 一 个 乓 和 上 无 闫 的 月 E(0,1) 使 得 对 
于 天 > 天 有 
x 一 Blx - x" 
或 [x -x Bx - x" 
试 证 x | 是 线性 收 襄 的 . 
17. 试 证 


{1) x =ag( |g| <1,s 关 四) 为 线性 收 竹 ; 
(2) x = ( 元 ) 为 超 线 性 收 各 
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(3) z=9"《 |4 | <1) 为 二 阶 收 化 . 
18. 设 好" 中 的 序列 1x,| 收 合 于 x" , 若 存 在 兵 Et0,m) 及 P>1( 与 天 无 关 ) 便 得 
x — x se Rllx -x (Yk 0), 
试 证 1x ! 超 线 性 收 谣 于 x”. 


第 3 章 习 题 


1， 求 一 元 函数 pf = 人 ~-3 的 极 小 点 ,要 求 如 下 : 

人 1 从 = 人 0 出发 ,以 b=0.1 为 步 长 确定 一 个 搜索 区 间 ; 

(2) 用 二 分 法 求 极 小 点 ,误差 限 取 为 # =0.1 

2. 求 一 元 亲 数 jt = -te “的 极 小 点 ;要求 如 下 : 

1) 从 =0 岂 发 ,以 AhA=1 为 步 长 确定 一 个 搜索 区 间 ; 

(2) 用 Newton 切线 车 求 极 小 点 ,误差 限 取 为 s =0.1 

3. 求 一 元 函数 gqg() =29 (+1) 人 的 极 小 点 ,要 求 如 下 : 

fl) 从 与 = 出 发 ,以 站 = 人 1 为 步 长 确定 一 个 搜索 区 间 ; 

(2) 用 0.618 法 求 极 小 点 ,误差 限 了 为 e =0.1 

4. 设 fA: R" 一 R' 二 次 可 微 ,8 是 它 的 梯度 ,正定 矩阵 如是 它 的 Hessian 矩阵 

1) 试 证 把 嫩 速 下 降 菠 用 于 了 上 时 ,第 天 次 选 生 的 最 佐 步 长 因子 ms 可 用 下 式 
和 近似; 

a = RIB/BIGLEL, 

由 此 引出 不 用 一 维 寻 查 的 迁 民 公式 
Br§, 
EA 
2) 证 明 上 述 给 出 的 算法 是 下 降 算 法 ， 
《3) 用 土 述 公式 解 min| fx -1 +2x2| , 取 初 始点 和 ={10,1) , 选 牧 寺 次 
5. 设 p 0) =fr+rp) ， 上 了 : BR oR’, op: RoR, 


i = 有 CF = 0,1,"); 


证 明 pt = TAr+tap)'p, 
p(t} = VA + oap)p. 
车 HF) = -31 


试 确定 计算 a 的 近 伯 公式 ,使 ms 满足 
Rx + is = minflr, + ap.). 


第 4.5.6 章 习 题 
1. 用 最 速 下 降 法 求解 


min|x: + 252 |. 
设 初始 点 为 z = (4,4)', 选 代 三 次 ,并 验证 相 令 两 次 选民 的 寻 查 方向 是 相互 重 
直 的 { 注 :对 于 该 问题 ,最 优 步 长 因子 可 以 用 公式 表 达 ) 


2. 试用 Newton 法 求 于 列 末 数 的 极 小 点 : 
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1) x + x + Ox — 2x) + lB 


(2) ET — ZN + 了 了 + Xl 一 23 


(3) (Cx) 1) 十 242， 

以 上 第 (1) ,{2) 涉 题 的 初始 点 可 以 任意 选取 ,而 第 (3) 小 题 的 初始 点 到 为 x = 
(0,1)7. 

3， 试 用 改进 Newton 法 求解 

mintdri + za — Kixsl, 

到 初始 点 ze = (0,4) , 选 代 三 次 . 

4. 设 4-=(1 中 

1 2 

13 试 证 ps = (1,0) ,pl = (1, 一 2)" 线 几 无 闫 是 4 - 共 亏 ; 

(2) 将 wv- {1,1)” 表示 为 po ,Pp 的 线性 组 合 ; 

(3) 验证 Po = (1,0)",p, = (1,1)" 线性 无 关 但 非 4~ 共 思 . 

5. 设 丰 是 nxn 实 对 称 阵 , 有 互 异 的 特征 值 , 试 证 明 4 的 特征 向 基 为 4- 共 思 . 

6. 设 R' 一 民 ' 定义 为 


fxr) = Fx Ax — bx, 


其 中 4=| 2) = (3.37 


试验 证 从 to = (0,0)" 出 发 ,利用 算法 5.1 沿 po={1,0}' ,p= (1， -2) ”所 生成 
的 xz: 是 卢 天 的 极 小 点 . 

7. 设 和 是 nxn 实 对 称 阵 , 如 (4=0,1,",mn-1) 是 线性 无 闫 的 ,又 设 pp,(k= 
0.1,-…,n-1) 由 以 下 递 推 公式 产生 : 
让 


Bo = Yo Pi = Tir ~ 之 piAp,. 


证 明 ptk=0,1,.… -1) 是 入 =- 共 斩 的 ， 
8， 对 于 二 次 函数 闯 x) = A -上 x, 其 中 


2 下 二 上 
‘| 4 但 ,b= (6-1,.1,2)", 
-1 2 


试 生成 三 个 互 为 太一 共 才 的 向 量 Po ,P' ;Ps 然后 用 算法 5. 1 求 扩 #) 的 极 小 点 . 


9. 设 关 2 = 了 rr4zr -bx E R" 
WH) = + YU, 

说 | 

| i 雪 必 +av) = minf( x, vr) 

| = + av, 


Qs: fxs + a) = minf(x, + ou); 
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Le 一 于 | 
试 证 w 与 立 是 4 - 共 辆 的 . 
10， 用 算法 5.2 或 算法 5.3 租 
mijnf sl — rxy 十 加 + Dx - 4%), 
取 初 始点 zo = (2,2)" ,和 夺 代 三 次 
11. 用 算法 5.4({PRP 算法 ;1 租 
min| (1 — xz) + a(tx, x)?|, 
取 初 始点 xo = (0,0) ,迭代 三 次 . 
12. 有 一 种 改进 的 最 速 下 降 法 , 称 为 平行 线 法 或 Partan 方法 ,其 算法 如 下 : 
已 知 :目标 函数 太 x} 及 其 梯度 所 <)， 
局 ) 选 定 初始 点 如 , 作 直 线 捷 索 


x = Xo + oop, 
po =- YVANx), 
an : Axo + copo) = min flxs + opo), 
计算 记 = 六 x ); 媳 上 =1. 
久 作 直 线 搜索 
B= + api, 
| =- VAT), 


oe A + oP) = min f(x, + ap,)}. 


Ti = Zs + BPs, 
| = Z, i ] 


局 :所 Zr + Bp) = minf(Z, + Bp), 

计算 ,1 = 让 1) 

地 若 日 -终止 准则 满足 , 则 ,和 天 ,1 就 是 最 优 解 ,打印 ,停机 ;否则 , 置 上 =k+1 
转 @ 

(1) 试 对 平行 切线 鞭 必 几何 解释 ; 

(2) 试用 平行 切 钱 荡 求解 本 习题 的 第 1 题 , 并 说 明 为 什么 经 过 两 砍 达 代 就 求 到 
了 极 小 点 ， 

13. 有 一 种 共 竹 方向 法 , 称 为 Powell 方法 .其 算法 如 下 : 

世 知 :正定 二 次 畏 数 让 *) 

中 给 定 初 始点 如 ,全 天 = 

国 念 所 = 和 全 1) 

二 对 i=1,…,n 计算 
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| > ap,, 


a Fr + ap) = min fx + ap,); 


To = T+ Rb 
:fr + aap) = min AMX, + ap) 

号 检查 天 = 一 13? 

是 令 x”=x,,i ,停止 计算 . 

全 邻 p,=p, (i=1.2,..…,n-1), 

Pp, = Pp; 

人 售 =x ,+1 转 局 ). 
试 就 让 x) = 天 < ,x;) 的 情形 ,证 明 当 六 =2 时 ,由 上 述 算 法 构造 的 寻 查 方向 p;,P;， 
了 为 一 组 共 二 方 向 ,x 为 所 x*) 的 极 小 点 . 

14- 分 别 利 用 3R1 方法 种 DFP 方法 求 


: : 2 
minf xi — XX + XI 十 了 HE - dx,). 


初始 点 取 为 = (2,2)" ,初始 矩阵 取 为 单位 类 阵 ,并 验证 每 个 算法 所 生成 的 了 商 个 接 


2 一 1 
索 方 向 邦 是 关于 短 阵 全 = | “，，》 j| 共 天 区 
15. 用 DFP 方 法 求解 


min{ (1 -£1)” +2(x -x1) }, 
初始 点 取 为 z = (0;0) ,初始 矩阵 取 为 单位 年 阵 ,入 忙 二 次 
第 ”3 章 习 题 


1， 用 Powell 方法 求解 下 列 问 题 

(1) mintxz +40|, 取 ={2,2)， 

{2) mini 17x: +12x x + Bx7 | xo = {2,2).. 
2. 求 超 定 方程 组 4x =7 的 最 小 二 莱 解 


2 -1 
其 中 A=|1 1 |,y=(4,3,6)". 
3 2 


3， 用 最 小 二 秉 原 理 求 一 个 形 如 y=4+ bx 的 经 验 公式 ,使 其 与 下 列 数 据 相 拟 合 


19 了 3 31 38 44 


Y, 19.0 32.3 49.0 73.3 97.8 


4. 用 最 小 二 匀 原 理 求 一 个 形 如 y =ae* 的 经 验 公 式 , 使 其 与 下 列 数 据 相 拟 合 
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*, 1 2 3 4 


也 60 30 20 10 


pe 


5. 设 一 物体 作 沪 如 如 直线 运动 ,观测 数据 如 下 : 


(9) 0 0.9 1.9 3.0 3.9 5.0 

stm) 0 10 30 50 30 110 
试 求 该 物体 的 初速 度 及 加 速度 . 

6. 设 起 定 方 程 组 


其 中 站 为 常数 ,DD = diagt di ,中 py ， 
斌 证明 其 最 小 二 乘 解 x 满 足 
(有 有 ADIx = - 生 下 
7. 用 Getub 方法 求 Ax =? 的 量 小 二 乘 解 ， 


其 中 症 二 ,y= 6,0.01,0.02,0.03)7. 
0 0 0 


0 0 0. 91 
8- 设 六 = (as) musirank (tA) =n, 
试 证 明 474 = RTR( 员 为 上 阶 上 三 角 阵 ] ,并 设计 计算 (4 4) 的 计算 方法 . 

9. 设 有 非 线性 方程 组 

Fr) = +22 一 1 = 站， 

Fix) = 2z + 一 2 = 
(1) 列 出 求解 这 个 方程 组 的 非 线性 最 小 二 乘 问 题 的 数学 模型 ; 
{2) 寄 册 求解 该 问题 的 Caugs-Newton 落选 代 公 起 的 其 体形 式 ; 
3) 初始 点 取 为 ze = (2,2) . 选 代 二 次 . 
10. 已 知 某 物理 量 y 与 另 两 个 牺 理 量 6 ,所 的 关系 为 


天 1 攻 3 
和 = 


1 + wt + tt 


其 中 ,和 ,x 是 待定 做 数 ,为 确定 这 二 个 参数 测 得 +t ,tf 和 YY 的 分 组 数据 


2. 昕 


1.0 


1.0 1.0 2. 器 2. 放 D ,0 


0. 076 0. 126 
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t1) 用 最 小 二 乘法 建立 关于 确定 x ,x; ,4 的 数学 模型 ; 
{2) 对 列 出 的 非 经 性 最 小 二 莱 间 题写 出 Causs-Newton 法 选民 公式 的 具体 形式 . 
11. 设 3: R' 一 RR' 定 忱 妈 下 
Sr) = A(r) f(r), 
其 中 由 x = CX) x) = =1 
对 于 任何 的 初始 点 #6; 试 写 出 按 如 下 Newton 选 代 公式 求 极 小 点 的 计算 步 枝 . 


TL] 二 着 + per 
ps: = [Vstr}] str,), 让 = D0 Ls, 
Cr ST op) = min sti, + ap.), 


并 证 明 当 x+x 时 ,VY ?sfx 一 +2A(x) A(r), 
其 中 Atx) = DAX), 
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第 10 章 线性 规划 及 其 解法 


目前 ,线性 规划 在 相关 的 应 用 领域 中 是 一 种 被 广泛 使 用 又 卓有成效 
的 约束 优化 方法 ,同时 它 的 求解 方法 也 为 某 些 非 线 性 规划 求解 算法 的 设 
计 提 供 了 帮助 - 早 存 20 世纪 30 年代,Kanteloveh 等 在 研究 生产 管理 和 运 
输 等 方面 就 开始 应 用 线性 规划 的 优化 方法 .4 年 代 末 Dantzig 等 人 提出 
单纯 形 法 ,从 面 为 线性 规划 竟 定 了 理论 基础 . 本 章 主 要 讨论 线性 规划 的 基 
本 概念 .基本 理论 和 求解 方法 . 


10.1 线性 规划 问题 举例 


例 10.1 生产 计划 问题 
没 菜 企业 现 有 m 种 资源 &,(i=1,2,…,m) 用 于 生产 n 种 产品 Bj(j = 
1,2,…,n) ,每 种 资源 的 拥有 量 和 每 种 产品 所 消耗 的 资源 量 , 以 及 单位 产 


品 的 利润 如 表 10 - 1 , 试 疝 如 何 安排 生产 计划 使 得 该 企业 获 利 最 天 ”? 
圳 10-1 


点 


查 


单位 利润 
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解 ” 设 产品 B 产量 为 xi(1 =1,2,…,n) , 称 之 为 决策 变量 ,所 得 的 利 
润 为 :, 则 要 解决 的 问题 的 目标 是 使 得 (利润) 函数 z= 也 ex 有 最 大 值 
决策 变量 所 受 的 约束 条 件 为 


py Sb (i=1,2,…,m), 
v0 (= 1,2,..,7). 

于 是 问题 可 归结 为 求 目标 函数 在 约束 条 人 忻 下 的 最 大 值 问 题 . 显然 目标 
函数 和 的 东 条 件 都 是 决策 变量 的 线性 函数 , 即 有 下 面 的 线性 规划 模型 


max 2 = 2 cx), 


3 ai Eb (中: = 1 ,2,0 ,mm), 
1 


v0 (=1,2,.,n). 

例 10.2 配料 问题 

每 种 食品 合 有 特定 种 类 种 比例 的 营养 成 分 ,从 医学 上 知道 每 人 每 天 
对 每 种 营养 成 分 的 最 低 需 求 量 , 现 设 每 人 每 天 所 和 需 的 m 种 营养 成 分 为 A， 
(i=1,2,…,m) ,每 种 营养 成 分 的 最 低 需 求 其 分别 为 (i=1,2,…,m)， 
现 市 场 上 有 种 不 出 的 食品 B,(j =1,2,…,n) ,每 种 食品 的 单价 为 c(i = 
1,2,…,n) ,每 单位 B 含 A, 的 量 为 由 ( 如 表 10 -2 所 示 ), 问 如 何 制定 采 
购 计划 , 既 可 以 保证 每 人 的 营养 需要 ,又 使 每 天 的 费用 最 低 ? 

这 10 一 2 


营养 成 分 最 低 需 求 基 


解 ” 设 决策 变量 x 表示 食品 B; 的 采购 量 , 目 标 函 数 为 所 需 的 总 费用 
到 一 > cx ;约束 条 人 忻 为 


仿 azi 2b, Ci 到 1,2,.…,m), 


i=1 
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x 0 (=1,2,.,n). 
该 问题 的 线性 规划 神 型 为 


main 之 = > Cr, 
1=1 


Das, 空 b, Ci 于 1 2, ,m) 1 
总 + 


0 (= 1,2,-.….n). 
10.2 线性 规划 问题 的 基本 概念 及 解 的 性 质 


10.2.1 线性 规划 模型 的 一 般 形 式 


由 实际 问题 建立 起 来 的 线性 规划 模型 有 多 种 不 同形 式 , 如 目标 肖 数 
可 能 是 最 大 化 问题 ,也 可 能 是 最 小 化 问题 ; 约 东 条 件 可 能 是 大” ,也 可 能 
是 “六 ” ,还 可 能 是 ” =” ;决策 变量 可 能 有 非 负 要 求 , 也 可 能 没有 符号 要 
求 . 于 是 可 以 得 到 线性 规划 模型 的 一 般 形 式 为 


max (min)z = 2 ci, 
Te 沧 = 26 二 1 ,2， 3 ? 
| 1 《10 - 1) 
Y 之 作 Ci = 1 2, ,nn)， 
也 可 表示 为 年 阵 形式 


max 【minyz = Cx, 
AX 志 《 宇 ，=)6， 
| 
* 宇 洛 . 
向 量 形式 
max (min)s = ex, 


~ 


x, 夺 《( 宇 ，=)b，, 
| - (10 - 2) 
i 


六 0. 
其 中 er = (escs,… 6.) 称 其 为 目标 函数 的 系数 向 量 ;x = (zoom ) 
称 其 为 决策 向 量 ;8 = 《5,5,,…,b。) 称 其 为 约 东 方程 组 的 常数 向 量 ; 
4 = (ai)。 称 其 为 约 东 方程 组 的 系数 矩阵 ; 玉 = (avyaa ,amw) (j=1, 
2,-…,n) 称 其 为 约束 方程 组 的 系数 向 量 
为 了 方便 问题 的 讨论 ,通常 我 们 规定 一 种 标准 形式 ,实际 中 非 标准 形 
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式 的 线性 规划 模型 者 可 以 化 为 标准 型 来 求解 . 线性 规划 模型 的 标准 型 规 
定 为 


了 
maX3 = € XX, 


驴 区 = 看， 
| (10 -3) 


让 芝 站 . 


对 于 非 标 准 型 的 线性 规划 模型 都 可 以 化 为 标准 型 ,其 方法 如 下 : 

(1) 目标 函数 为 最 小 化 问题 : 令 z = -z, 则 maxz' = -minz= -ex; 

(2) 约束 条 件 为 不 等 式 : 对 于 不 等 号 " 关 《 关 ) ”的 约 东 条 件 , 邮 可 在 
”<s《 世 ) 的 左 端 打 上 (或 三 去 )} 一 个 非 负 变 量 ( 称 为 松弛 变量 ) 使 其 变 为 
等 式 . 

(3) 对 于 无 约 东 的 决策 变量 : 臂 如 * E(-m ,+oa): 则 令 <=x 一 
2 ,使 得 ,x" 之 0 ,代入 模型 即 可 . 

例 10.3 将 下 述 线性 规划 问题 化 为 标准 型 


minz=— x 十 2r — 3x,, 
| 一 %a 十 Xi 芝 卫 ) 
一 二 -一 一 ?7， 
3.t. 


— 33x + x 十 2x = 了， 


xa yx 人 0 ,x 无 约束 . 


解 (1) 令 z = -z, 把 求 min 改 为 求 max; 

(2) 用 x -2 替换 x ,其 中 x ,x1 0; 

(3) 在 第 一 个 约 东 不等式 宇 号 的 左 端 三 去 一 个 剩余 变量 xi 

(4) 在 第 二 个 约束 不 等 式 中 ,首先 两 边 同 莱 以 -1, 得 | +x*2 +%; 和 所 
7 ,然后 在 此 不 等 式 的 左 端 加 上 一 个 松弛 变量 +; , 则 其 标准 型 为 


IMAX 2 = Cx" — x") 一 2x, + 3 + Ox, + Ox ， 
用 
《zi NI) 一 和 十 和 
Cx + + x 十 % 二 了， 
s. 十 


一 3Kx1 一 22》 十 二 28 = 5, 


0 
10.2.2 线性 规划 问题 解 的 概念 
对 于 线性 规划 问题 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


186 下 荐 ”的 束 最 优化 方法 


max z = Dm (10 -4) 
pe 
{人 = 《12 nm), (10 —- 5) 
9- t. # I=1 
x 0 (= 1,2,.…,n). 《10 -6) 


可 行 解 : 问号 (全 部 ) 约 东 条 件 (10 -5) 式 和 (10 -6) 式 的 决策 向 量 
| xz = (zz ,x,) 称 为 可 行 解 . 

可 行 域 : 全 部 可 行 解 所 构成 的 集合 称 为 可 行 域 , 它 是 一 个 = 维 欧 氏 
空间 R" 中 的 点 集 ,而 且 是 一 个 “ 凸 多 面体 ,也 称 为 可 行 集 ， 

最 优 解 : 使 目标 函数 达到 最 优 值 的 可 行 解 , 即 满足 (10 -4) 式 的 可 行 
解 称 为 最 优 解 . 

无 界 解 : 对 于 最 大 化 问题 , 若 使 得 目标 函数 在 可 行 域 中 无 上 办 ;对 于 
最 小 化 问题 , 若 使 得 目标 函数 在 可 行 域 中 无 下 界 , 财 称 该 问题 为 无 界 解 . 

基 垂 阵 : 妃 洒 系数 矩阵 丰 是 m xn 矩阵 , 且 秩 为 R{4) = 严 : 则 称 任 
意 一 个 m x im 阶 非 奇 异 子 短 阵 BB 为 线性 规划 问题 的 基 答 阵 ,简称 为 基 - 


不 失 一 般 性 ,可 设 
Hl i 1 
县 = | 和 三 (Pp Pas spa) 9 
Ba Mn 
称 p,(i=1,2,…,m) 闵 基 向 量 ,与 基 向 量 p, 对 应 的 变量 x(i=1,2,…， 
m) 为 基 变 量 ， 


基 解 : 旭 果 问题 的 基 为 B, 对 应 的 基 变 量 为 x,ti=1,2,…, 庙 ), 令 非 
基 变 量 x,,! =%。 ,2 ="… =%。 =0, 此 时 所 形成 的 方程 组 (10 -5) 为 基 方 程 
组 . 因为 det 下 六 0, 由 克拉 默 法 则 可 解 员 唯一 的 解 

Ka = (wT ), 

则 称 
为 钱 件 规划 问题 的 基 解 . 

基 可 行 解 : 满足 非 负 条 件 (10 -5) 的 基 解 称 为 基 可 行 解 - 

退化 基 解 : 基 解 中 有 一 个 或 多 于 一 个 基 变 量 为 0 时 ,这 个 解 称 为 退 
化 基 解 ,否则 称 为 非 退 化 基 解 . 

退化 基 可 行 解 : 若 基 可 行 解 中 有 一 个 或 多 于 一 个 基 变 量 为 零 时 ,这 
个 解 称 为 退化 基 可 行 解 . 
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10,2,3 线性 规划 问题 解 的 性 质 


定理 10.1 车 线性 规划 问题 (10 -3) 存 在 可 行 域 , 册 其 可 行 域 蚌 驯 集 . 

证 设 线性 规划 问题 (10 -3) ,其 可 行 域 为 R=ixlAx = 二 : 荆 世 0 ,从 
RR 中 任 取 酒 点 x 和 x 下 (x x ), 则 

Ax'” = BAx = b,x > 0x 0. 
令 x 为 连接 x" 和 x 的 线段 上 的 任 一 点 , 即 有 
x = ED + -px 0 ars<1), 
则 
Ax =A[pxD + C1 px] = pAr' +AX -pAr' 
=pyb +b-nb = 6, 

及 因 x 个 安 0 ,x 0 及 0<p 和 1, 故 x20, 即 x ER 

根据 第 1 章 凸 集 的 定义 ( 定 闵 11) 知 , 可 行 域 吕 为 巴 集 . 

引 理 10.1 线性 规划 问题 的 可 行 解 x = (xi ,xz,…,x,) 为 基 可 行 解 
的 充 要 条 忻 是 x 的 正 分 量 所 对 应 的 系数 列 向 量 组 是 线性 无 关 的 ， 

证 ”必要 性 ; 因 zx 是 基本 可 行 解 , 破 * 的 正 分 其 就 是 各 个 基 变 基 , 而 
各 个 基 变 量 对 应 的 系数 列 向 量 就 是 各 个 基 向 量 , 由 基 的 定义 ,它们 是 线性 
无 关 的 . 

充分 性 : 若 向 量 P ,Pa …… ,Pi 线性 无 关 , 则 必 有 天 过 详 . 当 冯 = 下 时 ， 它 
们 怡 构成 一 个 基 , 从 而 可 行 解 x= (oz xi:0,0,…,0) 为 相应 的 基 
可 行 解 . 当 上 <m 时 , 则 一 定 可 以 从 其 余 的 列 向 量 中 取出 mw -不 个 与 pp， 
p,,… ,Ps 构成 最 大 的 线性 无 关 向 量 组 .其 对 应 的 解 恰 为 *, 由 定义 它 是 基 
可 行 解 . 

定理 10.2 线性 规划 问题 的 任 一 个 基 可 行 解 工 对 应 于 可 行 域 的 一 
个 顶点 . 

证 下 面 分 两 步 来 证 明 . 不 和 失 一 般 性 ,假设 基 可 行 解 * 的 前 mm 个 分 
量 为 正 , 正 分 量 所 对 应 的 系数 列 向 量 为 Bi ,pa ，…'p。, 则 


px, = b. (10 -了 ) 


(1) 车 * 是 基 可 行 解 , 则 一 定 是 可 行 域 的 项 坊 - 
反 证 ,如 果 基 = (zz ,x ,0,0,…,0)" 是 一 个 基 可 行 解 ,但 不 是 


可 行 域 的 顶点 . 
事实 上 ,由 定理 10.1 知 * 必 有 可 以 表示 为 可 行 域 中 两 个 不 同 的 后 
x = (x a 
x = (x ,人 i 
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的 凸 组 合 . 即 
着 = PE + -nx 0 < <1). 
因为 的 前 mm 个 分 量 为 正 ,x 的 后 RR- 黄 个 分 量 为 0, 革 >0,1 -> 


0,x >0,x >0, 故 x ,x 中 的 后 Rn-m 个 分 量 也 为 0, 即 
Spx =5, (0 8) 


Fp” = b. (10 -9) 
(10 -8) 和 (10 -9) 两 式 相 威 可 得 
了 pz -x ) = 


因 x Xx” ,和 放 x xi” 不 全 为 零 . 由 定义 知 * 正 分 量 对 应 的 系数 列 身 
量 p,,p;,… ,ps 线性 相关 , 故 x 不 是 基 冲 行 解 . 这 与 假设 矛盾 , 故 命题 (1) 
成 立 . 

(2) 若 * 是 可 行 域 的 顶点 , 则 x* 一 定 是 基 可 行 解 . 

反 证 ,如 果 是 可 行 域 的 顶点 ,但 x 不 是 基 可 行 解 . 

事实 上 ,由 引 理 10.1 知 , 若 * 不 是 基 可 行 解 , 则 向 量 组 pj.p;,*… ,Pp， 
必 线 性 相关 , 故 存在 一 组 不 全 为 零 的 数 庆 (i=1.2,…,m) 使 


pk = 0. (10 - 10) 
用 一 个 不 为 0 的 数 产 乘 (10 -10) 式 ,再 分 别 与 (10 -7?7) 式 相 加 和 相 
减 可 得 
Du Pil + pek,) se b, 
之 P(x — Ak) = 6. 
令 . 
x = CR + HE sR + Hk + uk, ,0,0,. ,0)", 
x = (x) pk ky Re 0 0, 0) 
则 取 x = 户 x + 当 x 人 为 x 和 x 人 9 的 连 缆 中 点 ,而 当 灵 充分 小 时 ,可 以 
保证 


x HE 之 昌 人 = 1,2,.,m), 
即 x'" 和 和 x“ 是 可 行 解 , 故 x* 不 是 可 行 域 的 顶点 . 这 与 假设 矛盾 , 故 命 题 
(2) 成 立 . 
引 理 19.2 若 天 是 有 界 同 集 , 则 尾 意 一 点 亡 尺 均 可 表示 沟 玉 的 顶 
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点 的 出 组 合 . 

证 明 略 . 

由 引 理 10.2 可 知 ,线性 规划 阿 题 的 任 一 可 行 解 均 可 表示 为 基 可 行 解 
的 西 组 合 ， 

定理 10.3 基线 性 规划 河 题 (10 -37 的 可 行 域 有 界 , 则 目标 函数 一 
定 可 以 在 其 可 行 域 的 项 点 上 达到 最 优 . 

证 设 x ,x ,… ,x 中 是 可 行 域 的 顶点 ,而 基 可 行 解 x” 不 是 可 行 
域 的 项 点, 且 目 标 函 数 在 x” 处 达到 最 优 值 :”=c x 则 由 引 理 10. 2 
知 ,x” 可 表示 为 可 行 域 项 点 的 凸 组 合 , 即 


ro 一 Dr 
其 中 必 基 0 县》H = 1 (i = 1,2,-…,), 则 


i 上 

T to T 1 

ex = Dpr = De ax. 
i=1 t=1 


假设 存在 某 一 顶点 ri” ,其 目标 函数 值 cz" 是 所 有 et {i=1， 

2 ,… ,请 ) 中 的 最 大 者 . 将 x'"“ 代替 式 中 其 余 x”, 得 
Yer 芝 CT 到 cr™, 

即 erxto serztm 又 因为 c"'x" 是 最 大 值 , 故 只 有 cx” =c "x, 即 目 标 
函数 在 顶点 * ”处 达到 最 大 值 

一 般 说 来 ,线性 规划 问题 的 可 行 域 可 能 有 三 种 情形 :有 界 凸 集 ,无 办 
凸 集 和 空 集 . 线性 规划 问题 的 最 优 解 取决 于 问题 可 行 域 的 结构 , 即 可 能 有 
如 下 三 种 情形 (以 二 维 最 大 北 癌 题 为 例 ). 

1， 唯 一 有 外 最 优盘 

此 时 无 论 可 行 域 是 有 界 还 是 无 界 ,线性 规划 问题 的 最 优 解 必 在 了 可行 
域 的 某 个 顶点 处 达到 . 如 图 10 -1 所 示 ， 

2. 择 一 有 限 最 优 解 

图 10 -2 表明 线性 规划 问题 可 能 具有 无 穷 多 个 有 限 最 优 解 . 图 10 ~ 2a 
吉明 ,有 界 可 行 域 的 两 个 顶点 xy ,z 的 连 线 上 的 所 有 点 均 为 问题 的 有 限 
最 优 解 ;图 10 -2b 表明 ,在 无 界 可 行 域 的 一 个 项 点 二 上 ,以 它 为 起 点 的 
射线 上 的 所 有 点 均 为 问题 的 有 限 最 优 解 . 

3. 无 界 解 

图 10 -3 表明 ,可 行 域 是 无 界 的 , 且 最 优 解 也 是 无 限 的 此 时 日 标 昭 
数 的 等 值 线 沿 方 向 -e 无 限 地 移动 并 且 总 是 与 可 行 域 相交 ,此 时 最 优 值 
为 + wm , 称 级 性 规划 问题 有 无 界 解 . 
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~ 


2 


| 


图 10-1 
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10.3 单纯 形 法 


10.3.1 单纯 形 法 原理 


根据 线性 规划 解 的 概念 各 性质, 如果 线 性 规划 问题 存在 最 优 解 , 则 一 
定 有 一 个 基 可 行 解 为 最 优 解 . 为 此 ,求解 线性 规划 可 果 用 下 面 的 方法 : 首 
先 将 线性 规划 问题 化 为 标准 型 ,在 可 行 域 中 寻求 一 个 基 可 行 解 ( 对 应 一 
个 可 行 域 的 顶点 ) ;然后 检查 该 基 可 行 解 是 否 为 最 优 解 ,如 果 不 是 , 则 说 
法 再 求 另 一 个 没有 检查 过 的 基 可 行 解 , 并 且 使 目标 画 数 不 断 增 大 . 如 此 进 
行 下 去 ,直到 得 到 某 一 个 基 可 行 解 为 最 优 解 为 止 . 由 于 可 行 域 的 顶点 个 数 
是 有 限 的 , 则 可 以 证 明 经 过 有 限 次 先 代 一 定 可 以 求 得 问题 的 最 优 解 或 判 
定 出 问题 无 最 优 解 , 现在 要 解决 的 问题 :如 何 求 出 第 一 个 基 可 行 解 ?3 如 何 
判断 基 可 行 解 是 否 为 最 优 解 ?如 何 由 一 个 基 可 行 解 过 渡 到 另 一 个 基 可 行 
解 ? 解决 这 些 何 题 的 方法 称 为 单纯 形 法 . 

确定 问题 的 初始 基 可 行 解 是 解决 问题 的 第 一 步 , 即 首 先 要 找 出 初始 
可 行 基 , 即 是 由 m 个 不 同 的 单位 列 向 量 构 成 的 一 个 mx m 阶 单位 阵 : 其 
方法 如 下 : 

如 果 线 性 规划 问题 的 约束 条 件 全 部 为 等 式 , 则 在 其 系数 矩阵 中 总 可 
以 找到 一 个 m xm 阶 单位 矩阵 . 如 果 问 题 的 所 有 约束 条 件 均 是 关 形式 
的 不 等 式 , 则 可 用 化 标准 型 的 方法 在 每 个 约 东 条 件 的 左 端 加 土 一 个 松弛 
变量 ,从 而 可 得 到 一 个 mxm 阶 单位 矩阵 . 如 果 约 束 条 件 为 ”六 形式 的 
不 等 式 及 等 式 的 情况, 则 采用 人 造 基 的 方法 , 即 引 入 人 工 变量 以 构成 初始 
可 行 基 ,具体 的 在 10. 3.2 节 讨论 . 综 士 所 述 ,最 后 整理 可 得 


max £ = + Caxa + "+ OY, 


xX1 + 十 GimliTnrl + + aT, = bis 
Xi mt = b,, 

CE (10 -11) 
Tn + mlm 本 a = b,， 


x 0 (= 1,2,.,n). 
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这 样 总 能 得 到 一 个 m x m 单位 和 矩阵 


1 孜 0 
0 1 "站 

B= (PP Pa) 至 。 "| 
0 总 1 


称 之 为 线性 规划 问题 的 一 个 初始 可 行 基 , 而 对 应 的 变量 x,(i =1,2,-…， 
m) 称 为 基 变 量 ,其 余 变 其 x,(i=m +1,…,n) 为 非 基 变量 . 
令 非 基 变 基 x, ,=… =*, =0, 则 得 x; =6.(i=1,…,m) ,可 得 初始 基 
可 行 解 为 
x 二 【2 和 0 
用 单纯 形 法 求解 线性 规划 问题 时 ,常用 一 种 表 上 作业 法 ,这 种 表格 称 


为 单纯 形 表 . 依 初 始 基 可 行 解 的 单纯 形 表 称 为 万 始 单纯 形 表 ( 如 表 
10 -3)， 


要 10-3 


对 于 线性 规划 问题 (10 -11) ,下 而 给 出 单纯 形 法 的 求解 算法 . 
算法 10.1 

(一 ) 初始 步 

给 出 初始 单纯 形 表 ( 表 10 -3) ,对 应 的 有 


‘Oy 


[| + 
Tt te 1 好 1n 和 *, 二 bi 时 
tO Co - ch 
2 i 才 w 二 5 ， 
Coy 《总 (0) 
En + mt 下 好 an Yn 一 请 多 


由 此 得 到 一 个 初始 的 基 可 行 解 
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(二 ) 和 迭代 步 
QD 给 出 初始 基 可 行 解 *”; 
四 计算 非 基 变 量 的 判别 数 


名 令 os = max (Co); 


0) 


1 
加 计算 0” =min| Dm 


多 执行 Gauss - Jordan 消 元 : 
Pp ‘* Pp 7 PP, 


1 CE D 0 0 i 
A 
0 0 下 
Pi pb ,ee 
ft 《1 
1 | 0 mi 
fy LL 
0 dn 0 {Ti m+l 
1 [下 
0 a a 1 i 


搞 基 : p， 进 人 基底 ,多 搞 出 基底 : 
全 由 基 问 时 Pls''"Pii 下 
得 新 的 基本 可 行 解 x'"，; 
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i >0| = tay 
9 


由 此 定 出 主 列 为 第 烈 , 主 行为 第 1 行 , 主 元 为 a 


i ba gO, 


若 es0,r 一” , 即 得 到 最 忧 解 ,计算 结束 ; 


若 o>0, 转 册 ; 

二 检查 a 所 0 (i =1,2,…,m) 是 否 成 并 ? 
是 ,问题 无 最 优 解 ,停止 计算 ; 

否 , 转 局 ; 


Bn ”7 PP: 


193 


人 
看 
T=¢,— > ca 人 一 本 十 | 
1=1 


tO) ， 
轩 


[让 
bi 

tly 
b, 


1) 
bs 


;Pp 构造 新 的 单纯 形 表 , 则 可 以 


人 重复 上 述 步 又 直至 满足 所 有 的 韭 基 变 量 的 检验 数 0; 志 0. 
含 最 优 解 的 单纯 形 表 称 为 最 终 单纯 形 表 (如 表 10 -4) 


194 下 入 ”约束 最 优化 方法 


宙 10 一 4 


例 10.4 用 单纯 形 法 求解 线性 规划 问题 
max = 3x) 十 和 
X11 + 入， 之 直 ， 
一 | + Xa 于 过， 
6x, + 2x, S18, 
yi 0. 
解 ” 先 将 问题 化 成 标准 形式 
maxz = 3x) + x 十 Dr + Or, + Ox;, 


% 二 wy 二 Yi 二 中， 


| 
kh 


— x 十 区 +x = 


Bx, + 2x, + x = 18, 


TiN as Na ss 0. 


单纯 形 法 的 选 代 过 程 如 表 10 -5 所 示 . 
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从 表 10 -5 中 得 出 此 问题 的 基 可 行 解 上 = {3,0,5,1,0)" 为 最 优 解 ， 
目标 晤 数 的 最 优 值 为 z =9. 


10.3.2 用 人 工 变 量 法 找 初始 可 行 基 一 一 大 性 法 和 两 段 单 纯 形 法 


在 前 面 的 讨论 中 ,将 问题 化 为 标准 型 后 ,如 果 系 数 和 矩阵 中 含有 mm xm 
阶 单位 矩阵 , 则 可 雇 乒 到 一 个 初始 可 行 基 . 但 在 实际 问题 中 ,不 一 定 都 能 
直接 找到 初始 可 行 基 ,这 时 可 以 采用 人 人 工 变量 法 来 确定 初始 可 行 基 ， 


说 线性 规划 问题 的 约 东 条 件 是 之 op = i= 1,2,…,m) ,分 别 给 
每 个 约 东 条 忻 旭 人 一 个 人 工 变 量 *., ，… :xn 得 


OLX + GXy + + Xs = $1, 

GaXl F Ory + i + sy = bs, 

aX + Nz + + Xm = bn,; 
NL ”和 宕 0. 


这 样 以 * ,x,,m 为 基 变 量 ,可 得 到 一 个 m x mm 阶 单位 算 阵 . 令 非 基 变 
莉 和 1 和 2 为 堆 , 便 得 到 一 个 初始 基 可 行 解 是 一 {0 ,0,.: :0 ,6b ,b, 
… 5 
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事实 上 ,人 工 变 量 是 加 在 原 约 东 条 件 中 的 一 个 虚拟 变量 " ,在 求解 
过 程 中 ,经 过 基 变 换 ,可 把 这 些 人 工 变量 从 基 变 量 中 替换 出 去 ,使 基 变 量 
中 不 再 含有 非 零 的 人 工 变量 ,这 时 说 明 原 何 是 有 解 . 若 当 所 有 0 所 0( = 
m+i,m+2,…,n) 时 ,在 基 变 量 中 还 含有 非 零 的 人 本 变量 , 虽 河 问题 无 
可 行 解 . 现在 的 问题 是 :如 何 消除 人 工 变量 对 目标 晒 数 的 影响 呢 ? 主要 的 
方法 有 大 半 法 和 两 阶段 法 . 
1] 大 上 时 法 
对 于 最 大 化 问题 ,在 约 来 条 性 中 加 入 人 工 变 其 后 , 取 人 工 变 量 在 日 标 
函数 中 的 系数 为 ( - 型) (六 为 任意 大 的 正 数 ). 这 样 日 标 函 数 要 实现 最 大 
化 ,必须 把 人 人 工 变 量 从 基 变 量 痪 出 , 否 风 日 标清 数 不 可 能 实现 最 大 化 . 由 
应 地 ,对 于 最 小 化 何 题 , 则 取 人 人 工 变 量 在 日 标清 数 中 的 系数 为 型 .下面 举 
例 说 明 : 
例 10.5 用 单纯 形 法 求解 线性 规划 河 题 
max zs = — 3 + Ti, 
xX) + TY 所 4， 
— 2x, + x -Xi 1， 
,t+. 
3xX, 二 二 全， 
Ti 0. 


解 ” 先 把 原 河 题 化 为 标准 型 


max z = — 3x, + Ox, + x + Ox + Ox;, 
x + wx + wy 十 区， 三 中 ， 
~ Dx +Txr — Xa ~ x = 1, 
3x; + 4 = 9, 
TT 0 


加 入 人 工 变 量 x% ,xy 得 
max 2 = — 3x) + Ox + x + Oxs + Ox, — Mxs — Mx , 
xi + + x + i=， 
— Dx + x 一 2 一 %5 + xe = 1, 
二 .二 


3x, + %a + x = 人 9, 


3 Ts 0, 
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最 ,x6 :xy 为 基 变 量 , 令 非 基 变量 x ,x ,x;,*s 为 堆 , 林 以 得 到 初始 
基 可 行 解 x*” = (0,0,0,4,0,1,9)", 列 出 初始 单纯 形 表 , 用 单纯 形 法 进行 
求解 (如 表 10 -6). 


表 10 -6 


Tf 


于 是 可 以 得 到 问题 的 最 优 解 为 x= 0, 了 ,六 ) ,最 优 值 为 == 
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2 两 阶段 法 

当 用 计算 机 求解 含 人 工 变量 的 线性 规划 问题 时 ,如 果 试 图 使 用 大 计 
法 ,因为 每 一 台 计 算 机 都 有 一 定 字 长 的 限制 ,于 是 只 能 用 很 大 的 数 来 代 莹 
充分 大 数 前 ,这 样 就 可 能 造成 计算 上 的 错误 . 为 了 避免 此 问题 ,可 对 添加 
人 工 变量 后 的 线性 规划 和 何 题 分 两 个 阶段 来 计算 . 

第 一 阶段 : 不 考虑 原 规 划 是 否 存 在 基 可 行 解 ,构造 公信 人工 变量 的 
目标 函数 和 实现 最 小 化 , 即 构造 辅助 线性 规划 


minz = Ox, + Ox, + + Ox + Xin + "+ Xin 
GX 十 lay +t + Xl = bs 
Ga + dX 十 + Xs = bs, 
羡 吉 1 革 ] 十 六 2 完 2 + "十 Ttm bs 
Van 0. 


容易 看 出 , 原 问 题 有 可 行 解 ( 从 而 有 基 可 行 解 ) 的 充 要 条 件 是 这 个 辖 
助 的 线性 规划 的 最 优 值 为 零 . 由 于 人 工 变量 对 应 的 殉 构 成 单位 定 阵 , 故 这 
个 辅助 线性 规划 必 存 在 初始 可 行 解 . 车 它 的 最 优 值 等 于 零 , 即 说 明 原 问题 
存在 基 可 行 解 . 此 时 可 以 进行 第 二 阶段 计算 ,和 否则 原 规划 无 可 行 解 ,停止 
计算 - 
第 二 阶段 : 由 第 一 阶 自得 到 原 问题 的 一 个 基本 可 行 解 *”, 把 第 一 
阶 曼 的 最 繁 单纯 形 表 中 的 最 后 一 行 及 对 应 人 工 变量 的 列 删 去 ,作出 原 问 
题 对 应 于 x 的 单纯 形 表 ,而 将 目标 冰 数 的 系数 行 , 换 成 原 间 题 的 目 妹 冰 
数 系数 ,作为 第 二 阶段 计算 的 初始 单纯 形 表 . 
下 而 对 司 10.5 用 两 阶段 法 来 求解 . 
解 第 一 阶段 : 作 辅 助 线性 规划 问题 
minz = xe + X1, 
和 十 + Yi 十 区 = 和 4， 
— Dx + % — Xi — Xi+ rxe = 1, 
s.t. 


3xs + XI + x = 9, 


NT 3 a 3 


建立 单纯 形 表 (如 表 10 -7): 
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1 1 
[由 0 1 一 
XX 3 3 LE 0D [出 3 
2 1 1 i 
0 | ] 1 | 本 0 3 -了 6 
oT 个 0 0 0 0D 一 1 一 


J 


至 此 ,所 有 非 基 变 基 的 检验 数 都 小 于 9, 则 已 得 到 最 优 解 , 且 最 优 值 
为 90, 故 已 求 得 原 问 题 一 个 基 可 行 解 - 
第 二 阶段 : 现 转 入 求解 原 问题 的 解 ,建立 初始 单纯 形 表 如 表 10 -8 


所 示 ， 
才 10 -8 
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统 表 


人 


5 3 


故 原 问题 的 最 优化 解 为 *= [0,3 ,了 】, 最 优 值 为 z= 了 


10.3.3 人 履 让 单 纯 形 法 
下 面 对 单 纯 形 法 的 计算 过 程 用 矩阵 来 描述 ,以 便 加 强 对 单纯 形 法 的 


理解 及 改进 . 
对 于 线性 规划 问题 的 标准 型 
maxz= ex, 
8. 4, | 
x 0. 


不 妨 设 B 是 一 个 可 行 基 , 于 是 系数 和 矩 阵 丰 可 分 块 为 及 = 4B,N) ,不 失 一 
般 性 ,假定 B= (pi 1 Da) ;对 应 于 B 的 基 变 量 为 Tp = 《si 


属 昌 
《pp 对 应 的 非 基 变量 为 gw = (zw xs) : 则 = 上 | ,相应 


地 se = (esyew), 其 中 es 为 基 变 量 rs 的 系数 行 向 量 ,cw 是 非 基 变量 xw 
的 系数 行 向 量 , 于 是 原 问 题 化 为 


max Z = CaTg + CyXn, (10 - 12) 
Br, + Nx, = 8, 《10 —- 13) 
Ss. +, 
be (10 - 14) 
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rs = 下- 五 -五 mW (10 - 151) 

将 (10 -15) 式 代入 目标 函数 (10 -12) ,得 
= CT -cB Nxr, (C10 -16) 
令 zw=0 得 xs = 如 5, 从 而 得 到 相应 的 基 可 行 解 和 目标 函数 值 分 


别 为 
x = (| 时 全 EE = cB-'b. 
bp 0 

从 (10 -15)、(10 -16) 式 中 可 以 看 出 , 非 基 变量 的 系数 (cs -csB*'N) 
就 是 非 基 变量 的 检验 数 qq,(j=m +1,… ,nn). 

将 (10 -15)、(10 -16) 式 改写 为 如 下 形式 

rs + BNx, = Bb, 
| z— {cv -eB Nxr, = cB'b. 
信 y=en -cb Noe=c-ceB '4, 则 
z= caB b+oxy = cB b+tor, 其 中 = (0,o). 

热 悉 了 单纯 形 法 的 表 补 计算 方法 和 抢 阵 形式 ,在 选 伐 过 程 中 做 了 很 
密 与 下 一 步 选 代 无 基 的 重复 计算 .影响 了 计算 效率 ,用 计算 机 编程 求解 
时 , 既 占 用 内 存单 元 ,同时 会 影响 计算 的 精度 , 通过 分 析 可 以 看 出 ,在 整个 
迭代 过 程 中 , 基 抵 阵 的 道 矩阵 好 ”的 求解 是 关键 . 只 要 求 出 中 , 则 单纯 
形 表 中 其 他 行 和 列 的 数字 也 随 之 确定 了 , 故 提 出 了 修正 单纯 形 法 . 

下 而 是 修正 单纯 形 法 的 算法 : 

算法 10.2 

{一 ) 初始 步 

极 出 初始 单纯 形 表 

由 AAx=5, 鞭 中 起 = tia): E R",b EE R" .将 起 =iB,N),x= 


|。 ] 代 入 变 为 


Bx, +mWXw = 8, 
由 此 得 到 一 个 初始 的 基本 可 行 解 


《二 ) 迁 代 步 

位 给 出 初始 基本 可 行 解 zx …: 

例 计算 非 基 变量 的 检验 数 mw =cvw -caB NN; 
车 ory 所 0,x" 丈 x ,计算 结束 ; 
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下 箱 的 东 最 优化 方法 


否则 转 仿 ， 
辐 令 =max(o,) ,jE N, 计 算 B-'p,; 
名 检查 B-'p, <0 是 否 成 立 ? 
是 , 则 原 问 题 无 解 ,停止 计算 ， 
否 , 转 心 ); 
ni BY 
SU = min | 


(Bb), 
(Bp,), 


(B75).>0| ,由 此 定 出 


主 列 为 第 站 列 , 主 行为 第 ! 行 ,得 到 新 的 基 变 基 和 基 和 矩阵 B,; 


@ 计算 新 的 基 矩 阵 的 逆 矩 阵 Bi， , 求 出 Br 及 caBi'; 
中 重复 上 述 步骤 直至 满足 rw 专 0. 
在 初始 单纯 形 表 中 ,由 于 B 是 单位 矩阵 , 故 B” 也 是 单位 垂 阵 , 所 以 


修正 单纯 形 在 开始 计算 时 ,不 需要 计算 基 的 道 矩阵 ,但 经 过 一 次 迭代 后 ， 
需要 计算 新 的 基 托 阵 的 逆 和 矩阵 吾 ,而 五 的 求解 比较 款 珊 . 但 注意 到 上 
一 步 迁 代 的 基 吾 与 下 一 步 选 代 的 基 B, 之 间 只 相差 一 个 列 向 量 . 故 可 用 


如 下 简单 算法 : 
设 Br = EB ;其 中 也 = {ey ,ee er) ,2 表示 第 1 个 
位 置 的 元 素 为 ,其 他 元 素 为 0 的 单位 列 向 量 . 
一 让 1Y 站 由 
一 da 


live。 | 第 I! 行 


一 得 mk 加 肝 


下 面 举例 说 明 修 正 单纯 形 法 的 计算 步骤 . 
例 10.6 ”用 修正 单纯 形 法 求解 线性 规划 问题 


maxz = 2 十 3xa， 


Xi 十 242 所， 
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解 ” 化 为 标准 型 


max z = 2x) 十 了 YY + Ox, + Ox, + Ox;, 
% 十 2x + x = 8, 
XI + XY 二 4， 
Xi + wi 二 3， 


TR 0. 


1 2 1 0 0 8 
有 4 = {pi Pp Pasps) =|11 0 0 1 0 思 | 
0 1 0 0 1 3 


6 = {eCr0 secs) = (2,3,0,0,0). 
取 初 始 基 Bo。 = (Ps ,P4 .ps) = 了 IT, 则 Bs’ =B,=1,Bo'b=(8,4,3)", 
Xa = (x ys) ep = (0,0,0) ,xy, = (%) 2) sew = (2,3). 
计算 非 基 变量 检验 数 ww = cn -CoBo No = (2,3), 由 此 确定 x; 为 
换 人 变量 ,计算 
8 = min| ey Bi p, > ol = min 位 ， -.3| = 
对 应 的 换 出 变量 为 x;, 故 得 到 新 的 基 B, = (ps sp sPi) ,Xp = (X35%4 ,2》 ， 
ca = (0,0,3) ,cy, = (2,0), 
第 1 次 闪 代 ,计算 


其 中 


计算 非 基 变量 检验 数 


-1 
Hw =en -ea Bi N 


1 0 -21 0 


=(2.0) - (0,0,3)|lo 1 0 1 0 


= -3)， 
由 此 确定 x 为 换 人 变量 ,计算 
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(Bi'b), 
(Bi'p,), 


对 应 的 搞 出 变量 为 攻 3 , 故 得 到 新 的 基 B, = (P, BP, ,| a, 把 CI 7 ,5 )  ， 
Cp, = (2.0,.3) ,cn, = (0,0). 
第 2 次 选 代 , 计 算 
1 
1 


如 = min | Ey2 > 中- min { 侍 , 工 ， -= 之 。 


1 


D 


计算 非 基 变量 检验 数 


-1 
Tuw，= fw 一 Cn 是 N, 


0 一 2Y1l1 0 
= 【0 0) eon-: 2 | 
0 人 0 1 0 1 


| 一 


=(-2,1)， 
由 此 确定 x; 为 搞 和 人 变量 ,计算 
9 in {| 


对 应 的 换 出 变量 为 *,, 故 得 到 新 的 直 B, = (pi,pP;,p;) ;Ta = (Xi Xs se 
CHE, {2,0,3) ew, = (0.,0). 
第 3 次 选 代 , 可 得 最 优 解 为 x*=(4,2) ,最 优 值 为 := 14. 


10.4 线性 规划 的 对 偶 问 题 


10. 4.1 对 假 问题 举例 


例 10.7 某 电 器 元 忻 生产 厂家 在 计划 期 内 要 安排 生产 甲乙 两 种 产 
品 , 已 知 生产 单位 产品 所 需 的 设备 台 时 及 A、B 两 种 康 材 料 的 消费 如 表 
10 -3 所 示 . 该 工厂 每 生产 一 件 产品 甲 可 获 利 工 元 ,每 生产 一 件 产 品 乙 可 
获 利 2 元 , 问 应 如 何 安排 生产 计划 使 该 厂 获得 利润 最 大 ? 
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解 ” 设 x,x; 分 别 表示 在 计划 期 内 产品 转 和 乙 的 产量 , 则 有 线性 规 
划 问 题 


max 2 = x1 + 2x,, 
Sx SE 15, 
2x] + Gx 所 24， 
Xi + XT 所 3， 
x1 ,和 学 人 0 

现在 的 问题 是 : 若 由 工厂 的 决策 者 决定 不 生产 甲 、 乙 两 种 产品 ,而 将 
其 所 有 资源 和 产品 的 生产 权 出 售 ,那么 该 如 何 给 每 种 资源 制定 价格 ,使 出 
售后 所 得 利润 不 低 于 该 厂 自 己 生产 所 得 利润 ? 

设 用 y,y; ,ys 分 别 表 示 出 租 单 位 设备 台 时 的 租金 和 出 让 单位 原材料 
A.B 的 附加 额 . 决策 者 在 制定 决策 时 ,首先 会 作 如 下 的 比较 ,车 用 5 个 单 
位 设备 台 时 ,2 个 单位 原材料 & 和 1 单位 原材料 B 可 以 生产 一 件 产品 甲 ， 
可 获 利 1 元 ,那么 生产 每 忻 产 品 的 设备 台 时 的 出 租 费 和 原材料 A、B 的 出 
让 附加 客 应 不 低 于 生产 1 件 产品 甲 的 利润 , 即 


571 + 2ya +Y3 守 1， 


同 理 , 生 产 每 件 产品 B 的 设备 台 时 的 出 租 费 和 原材料 的 出 让 附加 额 
也 应 不 低 于 生产 1 件 产 品 B 的 利润 , 即 


6y, + 芝 2， 
把 工厂 所 有 设备 台 时 出 租 和 资源 全 部 出 让 ,其 收入 为 
w = 15Y +24Y, + 5%. 
从 工厂 的 决策 者 来 看 ,当然 是 w 越 大 越 好 ;但 从 接收 者 来 看 ,他 的 支 
村 金额 越 少 越 好 . 所 以 工厂 的 决策 只 能 在 满足 不 少 于 自 蕊 生产 产品 的 利 


润 条 件 下 ,使 其 总 收入 尽 可 能 地 大 . 故 须 求 解 如 下 的 问题 . 
min tp = 15y, + 24y, + 3Y,, 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


206 下 稻 ”的 柬 最 优化 方法 


37 + 27, + 7 将 1， 
5.t. 140 + Yi 芋 之， 
Ti ya ,73 站 . 
这 个 问题 就 是 原 线 性 规划 问题 的 对 偶 问 题 , 它 也 是 一 个 线性 规划 问题 . 
10.4.2 原 问 题 与 对 偶 问 题 的 关系 


线性 规划 的 原 问 题 和 对 侦 问 题 的 一 般 形式 有 两 种 : 
(1》 对 称 形 式 的 对 偶 问 题 


设 原 问 题 为 
maxzs=re 和 x 
0 
[= 
三 区 站 
则 其 对 偶 问 题 为 
minz' = y$, 
3A 二 5， 
“| 
y 艺 日 


将 这 两 个 对 称 形式 的 问题 进行 比较 ,可 以 得 出 它们 之 间 的 对 应 关系 : 

吃 原 问 题 中 的 约束 条件 个 数 等 于 它 的 对 偶 问题 中 的 变量 个 数 ，; 

加 原 问 题 的 目标 函数 的 系数 是 它 的 对 蛋 问 题 中 的 约束 条 件 的 右 
端 项 ; 

地 原 问 题 的 目标 阻 数 为 最 大 化 , 则 它 的 对 偶 问 题目 标 函 数 为 最 
小 化 ; 

加 原 问 题 的 约 东 条 忻 为 ” 关 ”, 它 的 对 侦 问 题 的 约束 条 件 为 " 郑 “ 

(2) 非 对 称 形 式 的 对 倡 问 题 . 

设 原 问 题 为 


原 问 题 中 的 约束 条 忻 为 等 式 ,对 倡 问题 应 该 如 何 表达 昵 ? 


丘 寺 办， 
由 于 Ax = 等 价 于 | 4, < _s 故 上 式 可 改写 为 
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T 
IaXS 二 下 大 


x 让 ， 
四 
半 昌 . 
按 对 称 形式 写 出 它 的 对 偶 问 题 


minz’ = HE- w, 
i -4c , 


下 之 0,m 芝 人， 


即 
minz’ = {wx — vb, 
{ 一 JJ) 上 宕 c， 
s. +. 
KH,v 0， 
i 记 =# -v5, 则 


min z” = yb, 

yA ce, 
| 

? 无 非 负 约束 . 


通过 上 面 两 种 线性 规划 问题 与 对 偶 问 题 的 比较 可 知 ,区 别 在 于 约束 
条 件 的 形式 与 其 对 应 变量 的 取 介 . 一 般 说 来 ,对 称 或 非 对 称 线性 规划 原 间 
题 与 对 偶 问 题 的 对 应 关系 可 归纳 为 表 10 - 10 所 示 . 
柬 10-10 


原 问 题 :或 对 偶 问 题 ) 对 偶 间 题 ! 或 原 问题 ) 


目标 贡 数 到 圳 刀 
变量 "个 约束 条 忻 ”个 
变量 六 0 约 东 条 件 宇 0 
变量 过 0 约束 条 件 所 0 
变量 无 约束 约束 条 件 = 
约 东 条 件 严 个 变量 让 个 
约 东 条 件 专 0 变量 兰 0 
约束 条 件 关 0 变量 所 0 
约 划 条 件 =0 变 章 无 约 东 
约束 条 件 右 端 项 目标 函数 变量 的 系数 
目标 西数 变量 的 系数 约 东 条 件 右 端 项 
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例 10.8 试 求 下 列 间 题 的 对 偶 问 题 
max 2 = lO0y, + By, + 7 ， 
YI 十 27y 守 3， 
1 + 7 2, 
st 一 3y +27, +Y; 志 一 4， 
YY +y =1, 
放 产 0.72 友 0,y 无 约束 . 
解 ” 原 问题 的 对 偶 问 题 为 
mn w = 3zrl + 2x, — 4x + x,, 
Xi 十 3 一 3x + x 3 10， 
2x1 + 27 一 了 安 明 ， 
总 , +. 


Wi + = 1, 


x 所 ,xy ,Xx 之 0,xy 无 约束 . 


10.4.3 ”对 偶 问 题 的 基本 定理 
定理 10.4 对偶 问题 的 对 个 问题 是 原 问题 . 


证 设 原 问题 为 
maxz = ek, 
有 tt 三 上 上 8， 
| 
让 宇 问 ， 
则 其 对 偶 问 题 为 
minw = yb, 
J 站 宇 5 
| 
衬 癌 
两 边 同 乘 以 -1 得 
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因 min (ww) = max 《一 世 ) ,所 以 
max {—w} = ~- yb, 
一 34 -ee, 
EP 
[ag 
此 式 对 偶 问 题 为 


min( -动人 = 一 er， 


-AX 宇 一 上下， 
| 
XT 宇 0. 
min(-w') =max (wv ,所 以 
max ww = maxz = Cx, 
AXT 之 也， 
| 


X=. 


故 结论 成 立 . 
定理 10.5 ( 弱 对 侦 定 理 ) 车 x 和 3 分 别 为 原 问题 和 对 侦 问题 规划 


的 可 行 解 , 则 存在 eTx 志 7B. 
证 设 原 问题 为 


因为 原 问题 的 可 行 解 , 故 起 工 所 双 

共 了 是 给 定 的 一 组 值 , 设 它 是 对 侦 问题 的 可 行 解 , 则 将 7 左 乘 上 式 得 
yA xEyb. 

原 问题 的 对 假 问题 为 


min w = J#, 
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y4 Be ， 
总 ， | 
y 六 0. 
因 了 为 对 便 问 题 的 可 行 解 , 故 了 7 了 432e7. 将 工 右 隧 上 式 得 了 4YaeIE 故 
了 百 演 了 各 工 世 err， 
则 结论 得 证 . 
由 此 定理 可 推出 以 下 结论 : 
推论 10.1 若 x 为 问题 的 任 一 可 行 解 , 则 cx 为 其 对 倘 问 题目 标 函 
数值 的 一 个 下 界 ;车 了 为 对 偶 问 题 的 任 一 可 行 解 , 则 了 5 为 原 问 题目 标 函 
数值 的 一 个 上 界 . 
推论 区 .2 车 原 问题 有 可 行 解 , 但 其 目标 函数 值 无 上 界 , 则 其 对 候 
问题 无 可 行 解 ; 若 对 伟 问 题 有 可 行 解 ,但 其 目标 函数 值 无 下 界 , 则 其 原 问 
题 无 可 行 解 . 
推论 19.3 ” 若 原 问题 有 可 行 解 ,但 其 对 候 问 题 无 可 行 解 , 则 原 问 题 
无 上 界 ; 若 对 偶 问 题 有 可 行 解 ,但 其 原 问题 无 可 行 解 , 则 对 偶 问 题 无 下 界 . 
例 10.9 试 说 明 线 件 规划 问题 


mAax x = XI + %,, 
— x + x + Xs SE 2, 
3.t 1 一 2Xt + Xx, -x 1, 
这 1 :站 7 六 兰 必 


为 无 界 解 - 
解 ” 原 问 题 的 对 候 问 题 为 


min #2 = ZY 十 了 ay 
Yl 一 2]3 关 工 , 
7 +ya 之 1， 
”站 
YI 一 ya 之 0， 
yi :yz 0. 


由 于 原 问 题 有 可 行 解 *, =* =3 =0, 但 对 偶 问 题 无 可 行 解 1 第 一 个 
约束 条 件 不 可 能 ) ,所 以 由 推论 10. 3 可 知 , 原 问 题 无 上 界 , 即 旭 标 函数 可 
任意 大 . 
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定理 10.5 若 原 问题 (对 倡 问 题 》 为 无 界 解 , 则 其 对 但 问题 ( 原 问 
题 ) 无 可 行 解 . 

证 由 弱 对 人 性 可 得 . 但 注意 ,定理 的 道 不 成 立 . 即 当 原 问题 《对 伪 
问题 ;无 可 行 解 时 ,其 对 人 蛋 问 题 ( 原 问题 ) 或 具有 无 界 解 或 无 可 行 解 . 

定理 10.7 设 x" 是 原 问题 可 行 解 ,y 是 对 偶 问 题 可 行 解 , 且 c x”= 
了 上 58, 则 x”,y 是 原 问 题 和 对 偶 问 题 的 最 优 解 . 

证 ” 设 z 为 原 问题 任 一 可 行 解 ,erz ”=y' 上 >c'x, 故 zx' 为 原 问 题 的 
最 优 解 , 岗 理 可 证 ,? 是 对 偶 疝 题 的 最 优 解 ， 

定理 10.8( 对偶 问 题 ) 若 原 问题 有 最 优 解 ,那么 对 个 问题 也 有 最 优 
解 ,其 最 优 值 相等 ， 

证 设 z*“* 为 原 问题 最 优 解 , 它 对 应 不 变 基 矩阵 号 必 存 在 ,由 有 e ~ 
coB 'A <0, 即 得 凡 4zf ,其 中 》”=5sB8 .车 y》" 是 对 偶 问题 的 可 行 解 ， 
它 使 w=y b=csb 上 bb, 因原 问题 的 最 优 解 是 x" ,使 目标 函数 取 什 z= 
cx” -cB 'b. 由 此 得 3"B=csB 'b=e x , 即 y》* 为 最 优 解 . 

定理 10.9( 互 补 松弛 定理 ) 若 *”,y" 分别 是 原 问 题 和 对 个 间 题 的 
可 行 解 ,那么 六 xs=0 和 ?sx ” =0. 当 旦 仅 当 7” ,了 分别 为 原 问 题 和 对 侦 
问题 的 最 优 解 . 

证 ” 必 蔓 性 : 设 原 问 题 为 


max 三 一 cx, 
TFT TS = 瑟 ， 
| 
rT,Is 这 0. 
其 对 侦 间 题 为 
min tw = yb, 


全 — Fs 二 Cc, 
号 .二 


了 ,5 0. 
将 c = 了 4 -ys 代替 c 得 
z = (yA -yer = AL 一 了 《10 — 17) 
用 8=Ax+x 代替 六 得 
ww = PAT + Xs) = FAY + prs (C10 — 18) 


若 yox” =0,y x =0, 则 y=y 447” =cxz ,由 定理 10.8 知 ,x*， 
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了 “为 最 优 解 . 


充分 性 : 车 ,y 分 别 为 原 问题 与 对 侦 间 题 的 最 优 解 ,由 定理 
10.7 知 
y= yAx = cr", 
根据 (10 -17)、(10 -187 两 式 , 可 得 yexz”=0, 了 xs =0. 
例 10.10 设 线 性 规划 


min w = 2x + 3x, + Sy + ZN, + 3485， 
x + XxX 十 2X 十 4 + 3xs 之 才 ， 
S. 4. 4 和 一 区 + 3xy + wy + x D3， 


0 


的 对 俩 问题 的 最 优 解 为 Y= 地 , 澡 = 地 ,z=5, 找 出 原 问 题 的 最 优 解 


解 ” 问 题 和 的 对 个 问题 为 


max 2 = 4y, + 3y,, 


7+ + 2y, 2, (10 - 19) 
YY 所 3， (10 - 20) 
2y, + 3y, 5, {10 - 21) 

a (10 - 22) 
37，+ ya 实 3， (10 -23) 
yi :ya 0. 


将 yy ,yz 代入 约束 条 件 得 (10 -20),(10 -21),(10 一 22) 为 严格 不 
等 式 , 由 互补 松弛 性 得 x2 =xs =%*。=0. 
因 x yy; 之 0, 原 问题 的 约束 条 件 应 取 等 式 , 故 得 


x + 3 = 4， 
2 + He =3, 
求解 得 x: =1,xs =1. 故 原 问题 的 最 优 解 为 x = (1,0,0,0,1).. 
10.4.4 ”对偶 单 缉 形 法 
由 对 侦 的 自 反 性 ,通过 求 对 侦 问 题 的 解 来 实现 求解 原 问 题解 的 目的 ， 
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这 种 方法 称 为 对 偶 单 纯 形 法 . 从 对 偶 问 题 的 一 个 可 行 解 出 发 ,在 保持 对 对 
伪 问 题 可 行 的 前 提 下 ,对 原 问题 的 非 可 行 解 进行 迁 代 ,使 其 次 步 向 可 行 解 
“靠近 ”, 当 它 最 终 谈 为 原 问 题 的 可 行 解 时 ,也 就 同时 得 到 了 原 问 题 及 对 
偶 间 题 的 最 优 解 . 具体 求解 算法 如 下 : 

算法 10.3 

{一 ) 初始 步 

中 建立 初始 单纯 形 表 . 

(二) 选 代 些 

名 进行 最 优 性 检验 , 若 现 行 常 数列 5 宇 0, 检 验 数 都 为 非 正 , 则 现行 对 
偶 问 题 的 基 可 行 解 邵 为 最 优 解 ,停止 计算 . 若 常 数列 5 至 少 还 有 一 个 负 分 
景 ,检验 数 保 持 非 正 , 则 转 司 ; 

二 确定 换 出 变量 ,将 现行 5 中 最 小 的 负 元 素 所 在 行 , 即 

min | (Bb),| (Bb), <0! = (Bb),. 


对 应 的 基 变 量 *, 作为 换 出 变量 ; 
转 确定 换 人 变量 . 检查 * 所 在 行 的 各 系数 ev(J = 1,2,…,m). 车 所 有 

4, 关 0, 则 无 可 行 解 ,停止 计算 , 若 存在 a5 <0 (j=1,2,…,n) ,计算 
= nin 
a 


这 


人 
Ip < 0}= Ts 


则 确定 x 为 换 大 变量 ; 
加 以 ra 为 主 元 素 , 按 原 单纯 形 法 进行 选 代 运算 
中 重复 凶 一 咏 的 步 又， 
例 10.31 用 对 侦 单 纯 形 法 求解 


min w = 4x) + 3x%, + RY,, 
和 | 十 区 3 之。 

5.t. 4 4 + 2X 守 3， 
0 (=1,2,3)., 


解 ” 先 将 问题 改写 为 


max z =— 44x - 3x, — Rx,, 
-3 一 一 了 
S$. ti 一 光一 2 之 一 3， 
x (= 1,2,3)， 
再 化 为 标准 型 
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max z = — 4x, 一 3r 一 8x + Ox + Ox,, 
— YX — KX + = 一 之 ， 
S- 4. 4 — x 一 2 十 % =— $3, 


xz BO (=1,2,3,4,5). 


区 
建立 韧 始 单纯 形 表 ( 见 表 10 -11) 
表 110--11 


由 算法 10.3 的 国 ,计算 min | -2, -5| = -5, 故 x; 为 换 出 变量 ; 
由 算法 10.3 的 加 ,计算 9 = min {二 ,三 }=3; 牙 2 为 换 人 变量 . 


按 计 算 步 观 进 行 选 代 ,得 到 表 10 -12 
胡 10-12 


由 算法 10.3 的 信和 国 ,* 为 换 出 变量 , 故 x 为 换 人 变量 ,得 表 


190 一 13. 
表 1-13 


所 以 最 优 解 为 =(0,1.2) ,最 优 值 为 z=19. 
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如 果 一 个 数学 规划 的 茜 些 决策 变量 或 全 部 决策 变量 要 求 必须 取 整 
数 , 则 这 样 的 问题 称 为 整数 规划 问题 ,其 模型 称 为 整数 规划 模 地 (integer 
brogramming , 简 记 IP). 

在 整数 规划 中 ,如果 去 求全 部 决策 变量 都 取 整 数值 , 则 称 此 规划 为 纯 
整数 规划 或 全 整数 规划 ;如 果 羽 有 一 部 分 决策 变量 要 求 取 整 数 ,出 称 此 规 
划 为 混合 整数 规划 ;特别 地 ,如 果 所 有 的 决策 变 基 的 取 值 仅 限 于 0 或 1， 
就 称 此 规划 为 0 一 1 整数 规划 ,和 凤 是 整数 规划 的 一 种 特殊 情形 . 如 果 整 数 
规划 的 上 日 标 函 数 和 约束 条 忻 都 是 线性 的 , 则 称 此 问题 为 整数 线性 规划 问 
题 . 在 这 里 只 就 整数 线性 规划 问题 进行 讨论 . 


11.1 整数 规划 问题 举例 


例 11.1 下 料 问 题 

设 用 某 种 型 号 的 钢材 下 m 种 不 同 的 零件 毛坯 A,(i=1,2,…,m), 符 
种 零件 毛坯 的 需求 晤 是 a,(i=1,2,…,m), 现 有 种 不 同 的 下 料 方式 B， 
(j=1,2,…,n) , 设 按 B, 方式 下 笠 &, 的 忻 数 设 为 cyli=1,… ,mj =1,…， 
nt 如 表 11 ~1 所 示 ). 问 应 怎样 安排 下 料 方 式 , 使 嗓 满 足 涡 求 , 义 使 所 用 
原材料 最 省 ? 


表 11-1 


各 零件 需求 量 


| 


解 ” 设 决策 变量 x; 表示 用 B, 方式 下 料 的 原材料 数 , 则 目标 晴 数 为 
种 方式 下 料 的 原材料 总 数 为 


二 了 全 
约束 条 人 忻 为 
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可 
min2 = pe 
2=1 


这 是 一 个 纯 整 数 规划 冶 题 . 

例 11.2 工厂 设 址 问题 

现在 准备 在 严 个 地 方 建造 规模 不 同 的 工厂 A,(i=1,2,…,m) ,每 个 
工厂 的 建 厂 费 用 为 A(i=1,2,…,m) ,并 假定 这 些 工 厂 生 产 相同 的 产品 ， 
各 工厂 生产 的 产品 数量 为 a,(i=1,2,…,m). 工厂 附近 有 ?个 零 此 商店 
BO =1,2,…,) 承 销 工厂 的 产品 ,每 个 零售 商店 对 产品 的 需求 量 为 8(j 
=1,2,…,n). 设 6, 表示 从 A, 运送 一 件 产品 到 B, 所 逢 运费 , 问 如何 安排 
建 厂 计 划 ,也 就 是 建造 哪些 工厂 ,能 够 既 满足 零售 需求 ,又 使 得 建造 工 上 
和 运输 产品 的 总 费用 最 小 ? 

解 ”此 问题 需 设 立 两 个 决策 变量 :xy 表示 a, 运 诗 Bi 的 产品 数量 , 且 
x (=12:m7=12 mi 为 0-1 变 量 , 当 在 Ai, 处 建 三 时 
取 1, 当 不 在 ,处 建 厂 时 取 0 (i=1,2,…,m). 

目标 函数 为 总 费用 


= > be t Fen] ， 
该 向 题 的 数学 模型 为 
min7z = > xy 十 Do, | : 


yy 


.4 Vi ai 1 ns 
7Y, = 0 或 1， 
Ty 流 0, 非 负 实 数 ( 二 1 了 = 1,2,." ,7). 
这 是 一 个 混合 整数 规划 
例 11.3 背包 抬 题 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


第 11 章 整数 规划 217 


设 有 一 个 旅行 者 需要 在 背包 里 装 人 nn 件 不 同 的 物品 ,每 件 物品 的 质 
量 分 别 为 a{j=1,2,…,m) ,价值 分 别 为 c(i =1,2,…,m) ,现在 要 使 背 
包 的 总 质量 不 超过 5, 则 应 装 人 哪些 物品 使 得 总 价值 最 大 ? 
解 ” 设 决策 变量 
5 = 当 将 第 了 件 物品 装 和 人 背包 时 ， 
” ”140， 当 将 第 上 件 物 品 不 装 人 背包 时 . 


目标 函数 为 总 价值 z = 站 Cx, 
该 问题 的 数学 模型 为 


[A 碾 b， 
sa.t. = 


x = 0 或 者 1,7 = 1,2,…,n. 
这 是 一 个 0 -1 规划 问题 . 


11.2 和 鳌 数 规划 的 分 枝 定 界 法 和 荐 平面 法 


整数 规划 模型 的 一 般 形 式 为 
max {min) z = i 


本 二 


[A =)b(i = 1,2,.…,m), a 
* 三 人 0 或 者 1 人 = 工交) 

对 于 实际 中 的 某 些 整数 规划 问题 ,很 容易 会 想到 先 略 去 整数 约束 的 
条 忻 , 即 帘 为 一 个 线性 规划 问题 ,利用 单纯 形 法 求解 ,然后 对 其 最 优 解 进 
行 取 整 处 理 . 实际 上 ,这样 得 到 的 解 未 必 是 床 整 数 规划 问题 的 最 优 解 , 因 
此 ,这 种 方法 是 不 可 取 的 ,但 可 异 鉴 这 种 思想 . 

下 面 介 绍 求解 整数 规划 问题 的 两 种 常用 方法 :分 核定 界 法 和 制 平 
面 法 . 


i1.2.1 分 枝 定 界 法 


分 枝 定 界 法 可 以 解决 纯 整 数 或 混合 的 整数 规划 问题 . 分 枝 就 是 在 相 
应 的 无 整数 约 东 的 线性 规划 问题 的 可 行 域 中 , 任 取 一 个 非 整数 解 的 非 整 
数 变量 ,对 此 变量 附加 两 个 相互 排斥 的 不 等 式 约 东 , 将 原 癌 题 分 为 两 个 于 
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问题 ( 即 为 分 枝 ) , 肯 分 别 求解 于 问题 的 解 ,直到 子 问 题 的 最 优 解 为 原 回 
题 的 可 行 解 ( 即 整 数 解 ) 为 止 , 定 界 就 是 在 分 枝 过 程 中 ,依据 每 次 分 校 所 
得 子 问 题 的 最 优 解 来 确定 原 问题 最 优 解 的 上 下 界 . 求 解 过 程 是 该 上 下 洁 
所 确定 的 范围 内 分 枝 并 逐渐 娘 小 上 下 界 的 范围 ,直到 求 出 原 问题 的 最 优 
解 为 止 - 

设 村 求解 的 原 整 数 规划 问题 记 为 问题 (4A) ,而 问题 (A) 去掉 整数 约 
束 条 件 后 的 线性 规划 问题 记 为 (B) , 则 问题 4B) 的 解 与 愿 问 题 {《A) 的 解 有 
如 下 的 关系 : 

《1) 车 间 题 (8B) 没 有 可 行 解 , 则 问题 (A) 也 没有 可 行 解 ; 

(2) 车 问题 (B) 有 最 优 解 ,并 符合 问题 (A) 的 整数 条 件 , 则 问题 (B) 
的 最 优 解 也 是 问题 (A) 的 最 优 解 ; 

(3) 车 问题 (B) 有 最 优 艇 ,但 不 符合 问题 44) 的 整数 条 件 , 则 不 是 问 
题记 ) 的 最 优 解 ， 

下 面 给 出 分 枝 定 界 法 的 流程 图 (图 11 -1) 和 算法 . 


图 it-1 分 核定 界 法 的 流程 图 
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站 法 11.1 
(一 ) 初始 步 
求解 问题 (A) 去 掉 整 数 约束 条 件 后 的 问题 (B). 
全 判断 问题 (B) 的 解 , 若 问题 (B} 没 有 可 行 解 ,这 时 间 题 (A) 也 没有 
可 行 解 , 则 停止 ;车 问 题 (B) 有 最 优 解 , 则 转 2°; 
他 检查 是 否 符合 同 题 (A) 的 整数 条 件 ? 
是 ,问题 (B) 的 最 优 解 皮 为 问题 (4) 的 最 优 解 , 则 停止 ; 
否 , 转 镶 ; 
(二 ) 选 代步 
鲍 记 问 题 {B) 的 目标 函数 值 为 问题 (&) 的 最 优 目标 函数 z 的 上 界 ， 
记 为 再 通过 观察 法 找 问 题 (A) 的 一 个 整数 可 行 解 , 不 妨 取 x =0 (j= 
1,2,…,n), 求 得 其 日 标 函数 值 记 作 z. 这 时 显然 z 径 ? ”天 二 
起 分 枝 : 在 问题 (B) 的 最 优 解 中 任 选 一 个 不 符合 整数 条 件 的 变量 
xi, 其 值 为 六 ,以 [15] 表 示 不 超过 已 的 最 大 整数 ,构造 两 个 相互 排斥 的 不 
等 式 约束 条 件 z 宏 [六 ] 和 瑟 关 [六 ] +1 ,将 这 两 个 约 东 条 件 分 别 加 入 问题 
《B) 中 去 ,得 到 两 个 子 问 题 (B,) 和 (B,). 用 单纯 形 等 方法 求 出 子 问题 
(B, ) 和 (B,) 的 最 优 解 . 再 从 求 得 的 结果 中 找 出 最 优 值 的 最 大 者 为 新 的 上 
界 了 ,从 已 符合 整数 条 件 的 各 分 枝 中 , 找 出 目标 函数 值 为 最 大 者 作为 新 的 
下 界 :. 
转 比较 和 前 枝 : 找 出 各 分 支 ( 子 问题 ) 的 最 优 秆 有 小 子 下 界 值 z 者 ， 
则 可 以 前 掉 这 个 分 枝 5 即 去 相应 的 子 问题 ) ,不 再 考虑 . 若 大 子 z, 且 不 符 
合 整数 条 件 ,出 重复 进行 第 一 步 邓 ,直到 得 到 = =z 为 上 上 . 
例 11.4 用 分 枝 定 界 法 求解 整数 规划 问题 
max z = 40x, + 90x,, 
Ox + ?x 36, 
Tx + 20x, E70, 
xl ,Xa 0， 
x ;X20 为 整数 . 
解 ”由 原 问 题 { 记 为 (4A) ) 去 掉 整 数 条 件 得 丫 题 (B) : 
max 5 = 40x, + 90x,, 
9x, + Tx, SE $0, 
st, (Ix + 20x, 70, 
xX1;X2 之 避 ， 


求解 问题 (B) 的 过 程 如 图 11 -2 所 示 : 
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天 小 元 355 


,=349 


图 11 ~2 


故 求 得 最 优 解 为 x*= (4,2) ,最 优 值 为 z=340. 


11. 2.2 ” 制 平面 法 


割 平面 法 是 由 R.E. Gomory 在 1958 年 首先 提出 来 的 , 故 也 称 为 Go- 
mory 割 平面 法 , 首先 不 考虑 变量 *, 为 整数 的 约束 条 件 , 适 当 的 增加 约束 
条 件 《 称 为 Gomory 条 件 ,几何 术语 为 割 平面 ) 使 将 问题 的 原 可 行 域 切 割 
掉 一 部 分 ,这 部 分 内 包含 非 整 数 解 , 但 不 包含 任何 整数 可 行 解 , 这 样 可 以 
得 到 一 个 新 的 子 问题 ,然后 求解 这 个 子 问题 的 解 ,直到 子 问 题 的 最 优 解 为 
原 问题 的 最 优 解 为 止 . 下 面 先 用 具体 的 问题 来 说 明 割 平面 法 . 

例 11. 用 割 平面 法 求解 整数 规划 问题 

mAaxsz 一 可 十 药 ;， 
— x +x 1, 
341 + 天 4， 
光 7 区 昌 ， 
x1 1% 为 整数 ， 
解 ” 由 原 癌 题 { 记 为 (4)) 去 掉 整 数 条 件 得 问题 (B) : 


maxz = 光 十 部 zy 
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-x +% 二 1,， 
3.t, 13x 十 所 4， 


X131X2 区 站 
对 问题 (B》 由 单纯 形 法 可 得 非 整数 最 优 佣 4 = 于 , = 二 ,= 
终 单 纯 形 表 如 表 11 -2 所 示 . 


可 11 -2 


显然 得 到 的 最 优 解 不 是 整数 解 . 故 想 找 如 图 11 -3 中 的 线段 CD 去 
切割 可 行 域 丸 ,问题 就 是 如 何 去 找 “ 制 平面 "的 线段 CD( 如 图 11 -3). 


2 


2 
了 4， 4 
+ 


和 省。 十 一 六 二 = 

: 4 1 十 “ 4 

将 系数 和 常数 项 都 分 解 成 整数 和 非 负 真 分 数 之 和 , 则 
XL 一 Fy + 天 + 站 


一 光 。 = 开 + 于 ， 
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即 
{11 -2) 


现 考 塌 条 件 (11 -2) ,要 使 的 ,x, 为 非 负 整数 . 由 
一 Il +* +x = 1, 
| 3x) + % 十 和 %， = 4， 


可 知 x;,%4 也 为 非 负 整数 , 在 (11 -2) 式 中 ,从 等 式 左边 看 是 整数 ,等 式 右 
边 括号 内 是 正 数 , 则 等 式 右 边 必 是 负 整 数 , 即 


故 


一 3x 一 安 一 了 3， 


这 就 是 一 个 切割 方程 ,将 它 作 为 约束 条件 增 如 到 问题 中 去 得 到 一 个 新 的 
子 问题 ,再 进行 求解 . 

引入 松弛 变量 x, ,得 到 等 式 -3x, -x +xs = -3, 将 新 的 约束 方程 加 
到 最 终 计 算 表 中 . 让 于 # 列 有 负数 , 故 得 到 的 是 非 可 行 解 , 于 是 需要 用 对 


偶 单 纯 形 法 求解 (具体 见 表 11 -3). 
于 11 -3 
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续 表 
1 1 D 站 0 
i *] | | 于 5 
1 
站 1 D -1 了 
1 1 
0 0 1 a -可 
UT, 0 0 0 - 亏 一 亏 


这 时 得 到 最 优 整数 解 x = (1,1)7, 最 优 值 为 == 
i114.3 0-1 规 划 


11.3.1 小 -在 规划 举例 


在 整数 规划 中 有 一 类 特殊 的 情形 , 即 决策 变量 只 取 0 或 工 两 个 值 , 则 
此 规划 称 为 0 -1 规划 . 如 在 11.1 节 中 的 背包 问题 ( 例 11.3), 它 的 所 有 
决策 变量 * 只 能 取 值 0 或 1, 这 时 % 称 为 0 -1 变量 .下面 来 看 0 ~1 规划 
的 几 个 实际 间 题 . 
例 11.6 投资 问题 
现 有 总 额 为 B 的 资金 可 用 于 投资 ,共有 "个 项 上 且 可 供 投 资 者 选择 - 
已 知 项 目 j 所 需 投资 额 为 0, 投资 后 可 得 利润 6 (j=1,2,…,n) ,不 妨 设 
8 ac 均 是 整数 . 问 如 何 选 择 投资 项 目 可 使 利润 最 大 ? 
解 先 引 人 0-1 变量 %, 令 
_ 因 对 项 目 j 投资 ， 
0， 香 则 ， 
恒 可 得 如 下 0 -1 整数 规划 问题 


mAax z= 之 cj), 


py 多 各 < 8, 
s. +. le 
x =0 或 1j = 1,2, nn. 
例 11.7 相互 排斥 的 约束 条 件 
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如 果 有 严 个 互相 排斥 的 约束 条 件 ( 近 型 ) : 
HE 十 ox 十 十 二 2 

要 求 其 中 至 少 有 9 组 得 到 满足 ,而 其 他 天 -9 组 约束 可 以 满足 ,也 可 以 不 
满足 . 

解 引入 mm 个 0- 荆 变量 YY(i=1,2,…,m) 和 一 个 充分 大 的 常数 虹 ， 
而 下 面 这 一 组 丈 +1 个 约束 条 件 : 

aN + oNXz + + rb +NMi=1,2,.…,m, 
| Yt 


就 能 满足 要 求 , 次 了 使 约束 条 件 中 至 少 g 组 成 立 ; 则 至 公有 9 个 7 了 为 零 . 
11.3.2 修一 1 规划 的 和 解法 


1. 完全 要 举 法 

检查 变 量 取 值 沟 0 或 1 的 每 一 组 合 ,比较 目标 淆 数值 的 大小 以 求 得 
最 优 解 . 这 种 方法 星 筷 路 自然 ,但 当 n 比较 大 时 ,5 个 变量 取 值 的 组 合 数 
2 相当 大 ,一 般 不 可 行 .下面 以 最 大 化 问题 为 例 给 出 完全 校 举 法 的 算法 . 

算法 11.2 

中 按 价 值 系数 cj 的 不 减 顺 序 排 列 日 标 番 数 z=Ax) 和 约束 条 件 (j 
=1 .2 nm) 

国 列 出 所 有 的 解 x*“ (j=1,2,…,2”), 置 := -NM; 

却 置 i=1; 

地 检查 fx'") >z? 

是 , 转 心 ， 

否 , 转 (; 

名 检查 * ”可行 ? 

是 , 转 呈 ， 

否 ; 转 中; 

a 置 作 x ) 一 z; 

全 置 i=i+l; 

检查 =2" +1” 

是 , 转 加 ， 

查 , 转 地 ; 

辐 检 查 z= -对 ? 

是 ,无 解 ， 

理 .max =s, 停 目 计 算 . 

2. 隐 枝 举 法 
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这 种 方法 与 完全 枚 举 不 同 的 是 只 检查 变量 取 值 组 合 的 一 部 分 ,就 能 
求 得 问题 的 最 优 解 . 基本 思路 是 :找到 一 组 可 行 解 ,然后 改进 目标 值 ,直到 
不 能 改进 为 止 . 其 实 分 核定 界 法 也 是 一 种 隐 核 举 法 ,但 对 有 些 问 题 隐 枚 举 


法 不 一 定 适用 . 
例 11.8 求解 下 列 整 数 规 划 问 题 

max 2 = 3x -2% + 5x, 
Xl + Dr ~ 执 了 {il -3) 
x + 4383 十 4 安 二 ， (ll -4) 

8.1.4x + XX 和 3， (1] —- $) 
4x; + x 所 5， ‘ll ~ 6) 
总 (11 -7) 


解 ” 首 先 通过 试探 找 一 个 可 行 解 ,如 (%) ,x;,x3) ”=《1,0,0)" 满足 
(11 -3) 一 (11 -6) ,得 z=3, 于 是 增加 一 个 约 东 条 件 
3x, - 2x, + 9x 之 3， {11 — 8) 
称 (11 -8) 为 过 滤 条 件 . 现 将 5 个 约束 条 件 按 (11 -8),(11 -3) 一 (11- 
6 的 顺序 排 好 ,对 每 个 解 依次 代 人 约 东 条 件 左 侧 , 米 出 值 , 如 某 一 条 件 不 
满足 ,同行 的 以 下 各 条 件 则 不 必 再 检查 . 计算 过 程 如 表 11 -4 
圳 1 一 4 


x 

Vv 

(0 1 0) = x 

(0 1 1) 3 5 x 
‘tl 0 0) 3 1 1 1 9 Vv 3 

0 ] Vv 

Xt 

t 


所 以 最 优 解 x*= (1,0,1) ,最 优 值 为 := 六 


在 计算 过 程 中 ,还 可 进一步 减少 计算 量 ,具体 有 这 样 一 些 方法 可 以 更 
早 发 现 最 优 解 : 
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(1) 车 过 到 z 值 已 超过 条 件 (11 - 8) 右边 的 值 ,再 改变 条 件 (11 - 
8) ,如 当 检 查 (0,0,1) 时 , 因 *=5( >3) , 故 可 把 条 性 (11 -8) 搞 成 
3x，- 2xz，+ 5x, 2 5. (11 - 8") 
(2}) 重新 排列 x 的 顺序 使 目标 函数 中 x, 的 系数 是 递增 的 , 如 此 本 
中 ,改写 z=3x, -2x, +Sx, = -2x +3x| +5x,, 因 -2,3,5 是 递增 的 ,变量 
的 组 合 也 以 (* 5, 5) 的 顺序 排列 , 按 各 变量 的 递增 顺序 列 出 的 解 有 : 
(0.0,0) ,00.0,1), 00,1,0), 50,1,1)，, 按 这 样 的 顺序 寻 优 ,可 以 更 早 
发 现 最 优 解 , 百 结 合 过 滤 条 件 的 改进 ,使 计算 更 简化 . 具体 计算 过 程 见 表 
11 -5、 表 11-6. 表 11 -7. 


误 11 -5 


条 件 


点 注 足 条 件 否 


z 值 
fl11 -BY (C11 -3) (11 4) (11 -5) (11-6) 


改进 过 小 条 件 , 用 -2x: +3xi +5x, 主 5 代替 -2x, +3x + 5x, 之 3, 彝 
续 进 行 
囊 11-56 


条 性 
{11 -8) {11 -3) (C11 -4) {11 -5) (11 -#6) 


再 改进 过 滤 条 件 ., 用 -2x, +3x| +5x; 宇 8 代替 -2x, + 3x + 5Sx, Ba5， 
再 继续 


惠 11 -了 
条 性 
满足 条 件 否 | >* 值 
fl11 -8)《Y1] -3y (11 -4 (11 -5) (11 -#6) 
【1 x 
Ct Xx 
【1 x 
{1 Xx 
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(3) 对 于 rn 个 变量 的 一 般 问题 ,有 2" 组 不 同 取 值 ,此 方法 仍 无 法 实 
际 应 用 , 因 无 法 检查 全 部 2" 个 点 . 这 时 ,可 从 目标 值 最 大 克 点 试 起 ,只 要 
发 现 使 目标 最 大 的 可 行 解 , 即 停 止 搜索 . 为 此 , 需 变 换 日 标 函 数 , 使 各 项 系 
数 均 非 负 . 如 上 例 中 ,x 系数 -2, 用 (1 一) 代 苦 x, ,改写 成 3x, +2x2 + 
5xs -2 ,搜索 从 所 有 x* 和 *; 取 1 开始 (min 问题 从 取 0 开始 ). 约束 条 件 中 
x 亦 用 zx, 代替 ,搜索 时 先 从 检验 系数 大 的 变量 取 1 的 点 ,在 上 例 中 , 先 检 
查 (1,1,1), 即 zx =1,%=1,x，=1, 由 于 此 点 为 可 行 点 ,终止 搜索 . 原 问 题 
最 优 解 为 x= (1,0,1) ,目标 函数 最 优 值 鸭 z=8. 这 种 算法 能 否 真正 求 得 
最 优 解 仍 无 法 保证 ,全 靠 碰 运气 ,但 在 求解 实例 时 如 能 获得 成 功 ,至 少 可 
求 得 最 优 解 . 如 果 一 个 隐 术 举 法 能 对 绝 大 争 数 实例 在 较 快 时 闻 内 求 出 最 
优 解 , 它 仍 不 失 为 一 个 好 算法 . 


11.4 指 ( 分 ) 派 问题 


11.4.1 措 ( 分 } 派 问题 举例 


例 11.9 设 有 rn 个 工人 (i=1,2,…,n), 现 在 要 指派 他 们 分 别 完 
成 项 不 同 的 工作 B,(j=1,2,…,n) , 设 工人 ;完成 工作 B, 所 消耗 的 时 
间 为 cy(i,j=1,2,…,n)( 如 表 11 -8). 问 如 何 制 定 这 分 配方 案 使 完成 全 
部 工作 的 总 工时 最 少 ? 


窗 11 -8 


解 ” 设 决策 变量 x, 表 示 B, 是 否 分 给 A, 的 状况 , 即 每 人 对 每 件 工作 
只 有 司 与 不 笋 两 种 情况 : 
1， Bi 分 给 各， 
a B, 不 分 给 A 
目标 函数 为 总 工时 : 二 F CFs 


1=1 j=1 


约束 条 件 : 交 zx，-= 1,j = 1,…,n, 每 件 工作 只 能 分 派 一 人 做 ; 
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并 = 1 = 1, ,每 人 只 做 一 件 工作 . 


该 问题 的 数学 模 于 为 
min z = > 
了 = 1 = 1,-.,n, 
a. t. bE =1,i=1,.,n, 
xy =0 或 l,i = 1 ,nj = 1,",n. 
上 述 问 题 称 为 指派 问题 ,也 称 为 分 派 问题 , 它 是 一 个 0-1 规划 ,也 就 
是 整数 规划 的 特例 . 


由 cv 组 成 的 系数 矩阵 (ce ) 。x* 称 为 歼 率 矩阵 ,只 要 效率 矩阵 (co) ,给 
定 了 ,指派 问题 也 就 相应 确定 了 . 由 于 指派 问题 中 每 一 可 行 解 的 m 个 分 
量 中 非 零 分 蔓 的 个 数 忆 为 个 ,具有 高 度 退 化 的 性 质 , 所 以 可 采用 更 简便 
的 解法 一 一 匈牙利 法 ， 


11.4.2 匈牙利 法 


匈牙利 法 是 1955 年 由 融 , 页. Kuhn 提出 来 专门 求解 指派 问题 的 解 
法 . 由 于 他 引用 了 匈牙利 数学 家 D. Konig 一 个 关于 和 卸 阵 中 零 元 罕 的 定理 : 
系数 答 阵 中 独立 零 元 素 的 最 多 个 数 等 于 能 覆盖 所 有 零 元 素 的 最 小 直线 
数 , 由 此 把 此 解法 称 为 匈牙利 法 ， 

指派 问题 的 最 优 解 具有 如 下 性 质 : 

性 质 ” 若 从 系数 矩阵 (es 的 一 行 ( 列 ) 各 元 训 中 分 别 减 去 该 行 
( 列 ) 的 最 小 元 素 ,得 到 新 矩阵 (bu 那么 以 (本 ) xs 为 系数 矩阵 求 得 的 
最 优盘 和 用 原 系数 矩阵 求 得 的 最 优 解 相同 . 

利用 这 个 性质 ,在 最 优 解 保持 不 变 的 倩 况 下 ,. 原 癌 题 的 系数 矩阵 
(cy) ,xn 可 以 变换 为 有 很 多 替 元 察 的 新 系数 矩阵 (6,),x, ,在 新 系数 矩阵 
(5 ) 中, 找 靖 个 独立 的 零 元 素 , 即 找 位 于 不 同行 不 同 列 的 零 元 素 , 令 解 
矩阵 (zu) 中 对 应 的 这 上 个 独立 的 零 元 索 的 元 素 取 值 为 1, 其 他 元 系 取 
值 为 零 ,将 其 代 人 旧 标 函数 得 到 z =0, 这 显然 一 定 是 以 (bi)。* 为 系数 年 
阵 的 指派 问题 的 最 优 解 ,也 就 得 到 了 原 问题 的 最 优 解 . 

下 面 是 匈牙利 法 的 算法 : 

算法 11.3 

(一 ) 初始 步 
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恋 换 指 派 向 题 的 系数 矩阵 (es .使 变换 后 的 矩阵 (br) .中 的 各 
行 各 列 中 出 现 零 元 素 . 即 对 (cv) ,的 每 行 每 列 的 各 元 素 分 别 减 去 该 行 该 
列 的 最 小 元 素 , 若 每 行 每 列 已 有 零 元 素 , 则 不 必 再 减 . 

《二 ) 迁 代 步 

进行 试 指派 ,寻求 最 优 方案 - 

(1) 从 只 有 一 个 零 元 素 的 行 ( 列 ) 开 始 , 对 这 个 零 元 素 标记 他 表示 对 
这 行 所 代表 的 人 只 有 一 种 任务 可 指派 ,再 划 去 四 所 在 的 列 ( 行 ) 的 其 他 堆 
元 素 ,标记 8, 表示 此 列 所 代表 的 尾 务 已 经 指派 完 ,不 考 虞 别人 ; 

(2) 从 只 有 一 个 零 元 素 的 列 ( 行 ) 开 始 ,对 这 个 零 元 素 标记 他 再 划 去 
加 图 零 元 素 所 在 的 行 ( 列 ) 的 其 他 零 元 素 , 标 记 8, 反 复 进行 ,直到 所 有 去 
元 素 都 已 圈 出 或 划 掉 . 

(3) 车 仍 有 没有 划 图 的 零 元 素 , 且 同 行 ( 列 ) 的 零 元 素 至 少 有 两 个 ， 
则 从 零 元 素 最 少 的 行 ( 烈 ) 开 始 ,通常 方法 是 比较 这 行 各 零 元 素 所 在 列 中 
零 元 素 的 数目 , 选 零 元 素 少 的 那 烈 的 这 个 零 元 素 加 圈 ,然后 划 掉 同行 同 列 
的 其 他 元 素 . 反复 进行 ,直到 所 有 的 零 元 素 都 已 图 出 或 划 掉 ， 

如 果 圈 的 元 素 的 数目 m= 和 矩阵 阶 数 mn, 则 得 到 最 优 解 ,停止 

如 果 图 的 元 素 的 数目 m < 矩阵 阶 数 4, 则 转 人 吕 ; 

名 作 最 少 的 直线 春 盖 所 有 的 零 元 素 , 以 确定 该 系数 矩阵 中 能 找到 最 
多 的 独立 元 素数 ,具体 方法 为 : 

(1) 对 没有 地 的 行 打 “ 号 : 

《2) 对 已 经 打 v 号 的 行 中 所 有 含 零 元 素 的 列 打 v 号 ; 

(3) 再 对 打 v 号 的 列 中 含 @@ 元 素 的 行 打 v 号 .重复 以 上 步骤 直到 没 
有 新 的 打 v 号 的 行列 为 上 上 ; 

(4) 对 没有 打 v 号 的 行 画 横 线 ,对 所 有 打 v 号 的 列 画 竖 线 . 这 得 到 覆 
竟 所 有 零 元 素 的 最 少 直 线 数目 . 

如 果 直 线 的 数目 1= 甜 阵 阶 数 n, 则 转 人 名 的 第 (3) 步 ,重新 试 指派 ; 

如 果 直 线 的 数目 < 矩阵 阶 数 1, 则 转 人 人 @; 

二 为 找到 个 独立 的 零 元 素 ,必须 再 变换 当前 系数 矩阵 以 增加 零 元 
素 . 为 此 在 没有 被 直线 覆盖 的 部 分 中 找 出 最 小 元 素 ,在 打 v 号 的 各 行 中 元 
素 都 减 去 这 最 小 元 素 ,在 打 V 号 的 各 列 的 元 素 都 加 上 这 最 小 元 素 ,以 保证 
原来 零 元 素 不 变 ,得 到 新 系数 矩阵 , 它 的 最 优 解 也 和 原 问题 相同 - 

如 果 得 到 个 独立 的 零 元 素 , 则 得 到 最 优 解 ,停止 ; 

否则 ,转生 ,重复 进行 . 

例 11. 10 有 4 个 工人 ,要 指派 他 们 分 别 完成 4 项 工作 ,每 人 做 各 项 
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工作 所 消耗 的 时 间 如 下 表 . 问 指 派 哪个 人 去 完成 哪 项 工作 ,可 使 总 的 消耗 
时 间 最 小 ? 


解 
15 18 21 241_-15 ro0 3 6 9 
-| 23 22 18|-18 1 5 40 
0 26 17 16 19|-16 |i0 1 0 3 
19 21 23 17J-17 Lk2 4600 
-1 
0 2 5 9 
1 4 4 0 
= Cb) ss 
10 0 0 3 
2 3560 
DT 2 6 9 
1 4 4 人 @ 
(By) ,x = 
10 @8 3 
2 3 6 
这 里 加 的 个 数 m=3,n =4， 
a -@-2-6-# i 
1 4 4 名 fv 
-+440 一 国 --… 康 十. 


2 3 6 8JV 


Y 
故 得 到 直线 数目 ;=3<nm, 在 没有 被 覆盖 部 分 (第 2,4 行 } 中 找 出 最 小 元 
素 1 ,然后 在 第 2,4 行 各 元 素 分 别 减 少 1, 给 第 4 列 各 元 素 加 1 ,得 到 新 矩 
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阵 .重复 上 面 步骤 ,得 


m2 6 9 
§ 3 3 @y 
I0 @# 3| 
2 3 6 gjv 
YY VY 


这 里 (0) 的 个 数 拘 =3,n=4， z 
$$ 2 6 10]y 
g 3 3 由 |v 


ee 
®@ 2 5 41Y 
Y Y 


故 得 到 直线 数目 L=3 <n, 在 没有 被 覆盖 部 分 中 找 出 最 小 元 素 2 ,在 第 1， 
2.4 行 中 各 元 素 分 别 减 去 2, 给 第 1,4 列 各 元 素 扣 2 ,得 新 矩阵 

g 人 4 12 

g 1 1 人 @ 

12 9g @ 6 

@ 1 3 8 
它 具 有 4 个 独立 的 0 元素, 这 就 得 到 最 优 解 ,相应 的 矩阵 为 
0 100 
0001 
0O01 0 
1000 
由 解 矩阵 得 到 最 优 指派 方案 : 

车 B , 乙 一 0D ,再 一 CC, 一 一 上 

所 需 时 间 为 min z=18 +18 +16 +18 =70. 


11.5 ”整数 规划 问题 应 用 实例 


例 11.11 石材 截断 切割 问题 (97 年 全 国 大 学 生 数 学 建 模 竞赛 题 ) 
设 将 一 长 方 体 石材 ,加 工 成 男 一 长 方 体 石材 .石材 母体 :长 =10 cm, 宽 w 
=14.5 ecm, 高 h=19 ecm; 石材 子 体 :长 =3 cm, 宽 纪 =2 cm ,高 及 =4 cm; 
加 工 要 求 如 下 : 

(1) 母体 与 子 体 的 对 应 表面 平行 ; 
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《2) 间 蝶 分 别 为 : 左 侧 间 虐 6 cm , 右 侧 间距 1 cm ,正面 间 虑 7 em ,后 
面 间距 5.5 cm ,底面 间距 9 cm ,上 面 间 上 6 cm; 根 定 只 要 求 切 制 6 次 ,加 
工 费 用 1 元/ 理 米 , 试 设计 一 种 方案 ( 即 安排 各 面 加 工 次 序 ) ,使 加 工 费 用 
最 少 ? 
解 ” 首先 给 出 各 种 不 同 切割 方式 的 数学 表述 . 
设 5 个 加 工 面 的 编号 分 别 为 : 
1 2 3 4 


3 6 
左右 前 后 上 下 
一 个 切割 方式 就 是 各 加 工 面 和 ,2,3,4,5,61 的 一 个 全 排列 , 记 为 


站 
用 员 记 所 有 不 同 的 切割 方式 组 成 的 集合 , 即 
及 = 上 (站 和) | 6 = 1,2,3,4,5,6, 
=1,2;3,4,5.6 必 关 玛 (天门 | = 61 = 720 种 ， 


然后 列 册 6 次 切割 的 总 费用 的 数学 描述 : 
更 考虑 尾 一 种 切割 方式 站 :i iss ls te 的 费用 描述 ， 由 于 这 种 切割 
方式 在 操作 中 总 共 要 进行 6 次 切割 , 记 6 次 切割 的 面积 分 别 为 (cm ) : 
S(i) ,号 ( i) ,SC ists) SC si sb ,14 ) 了 
六 


故 5 次 切割 的 总 费用 为 
我 看 站 


最 后 列 出 该 问题 的 数学 模型 
minz = 成 让 2 515) 
7 i 0 PP 


这 是 一 个 典型 的 整数 规划 问题 ,我 们 给 出 用 穷 举 法 求解 该 问题 的 算 
法 步 双 : 

中 列 出 所 有 可 能 的 切割 方案 (720 种 ) ; 

地 计算 每 一 种 切割 方案 的 总 费用 (720 个 ) 

辐 从 720 个 总 费用 中 选 出 最 小 者 ; 

地 列 出 最 少 旨 用 方案 (最 优 方案 ); 
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诗 算 结果 如 于 : 


第 一 种 : 1 底 (6) ,前 (3), 左 (1), 上 (5) ,后 (4), 右 (2); 
第 二 种 ;2 底 (6) ,前 (3), 上 (5), 左 (1) ,后 (4), 后 (2)， 
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2233 


第 12 章 约束 最 优化 问题 的 
| 最 优 性 条 件 


12.1 约束 最 优化 问题 的 数学 描述 


不 和 失 一 般 性 , 设 我 们 讨论 如 下 的 约束 极 小 问题 ((PP) 问 题 ): 
min Ax),x* 人 EER", 
st g(xr) > 0, (12 -1) 
h{x) = 0， 
其 中 f(x) g(x) = (8 (x) ,B82 (x) ,Bok)) h(x) = (h(x) ,h(x), 
FO) BE) = 11,2,…,) 均 为 定义 
在 XCR" 上 的 实 值 函 数 . 
显然 ,1 =m=0 时, (12 -1) 便 是 一 个 无 约 东 最 优化 问题 ,当头 天 ) ， 
g(x) ,h(x) 均 为 线性 函数 时 , 它 是 一 个 线性 规划 问题 . 这 耳 种 情形 前 面 已 经 
介绍 过 了 ,从 本 章 起 我 们 假定 im 中 至 少 有 一 个 不 为 0, 有 是 AX) ,gtx), 岂 
Cx} 中 至 少 有 一 个 为 非 线 性 泡 数 . 此 时 称 问题 412 - 1) 为 非 线性 规划 . 


12.1.1 全 局 解 与 局 部 解 


定义 12.1 称 集 合 
D= | h(xr) = 0 = 1,2, ,8 (tx) 2 0,t = 1,2,. ,mx*ER"! 
为 问题 (12 - 1) 的 可 行 集 (或 称 可 行 域 、 容 许 集 ). 

定义 12.2 对 于 问题 (12 -1) 若 存在 z”E 了 ,使 得 对 尾 意 的 x E 卫 ， 
均 有 六 x) 三 扎 z ) , 则 称 x*" 是 f(x) 在 可 行 域 上 的 全 局 极 小 点 ,或 称 *" 是 
问题 (12 - 1) 的 全 局 最 优 解 . 车 对 任意 的 x E 了 ,rr 关 xz , 均 有 f(x) > 
fx*) , 则 称 x' 是 f(x) 在 可 行 域 上 的 严格 全 局 极 小 点 ,或 称 x 是 问题 
(12 -1 的 严格 全 局 最 优 解 . 

定义 12.3 对 于 问题 (12 -1) , 若 对 xf" E 了, 存在 >0, 使 当 上 x 一 
r 1 过 时 ,总 有 Frz)zFz ), 则 称 z 为 问题 (12 - 1) 的 局 部 最 优 解 ， 
或 简称 +" 是 最 优 解 . 若 当 x E D, 且 0< x-x | 所 ,总 有 f(x)> 
Pr) , 则 称 x' 是 问题 (12 -1) 的 严格 局 部 最 优 解 . 
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例 这 .1 试 确定 约 东 极 小 河 题 
min Ax) = x] + x 
st. hex) = (4-1) -2-4=0, 
EX) = x -1<0 
的 局 部 解 . 

解 ” 电 等 式 约束 与 不 等 式 约束 的 图 形 ( 图 12 -1) 短 ,可 行 域 即 是 在 
xs 硅 1 下 方 且 位 于 双 曲 线 上 的 两 鼻 曲 线 ,而 目标 函数 A 人 x) = 和 +%i, 作 它 
的 等 值 线 , 发 现 它 们 是 一 系列 的 同心 圆 ,显然 ,xX = (3,0) 与 二 =(-~1， 
0)7 分 别 为 9=*Y+xi 和 1=xi +%x2 与 双 曲 线 的 切 点 , 且 易 知 ,对 任意 x E 
DD ,都 有 f(x) 宇 f(x'), 所 以 ,x”={ -1,0)" 为 全 局 极 小 解 ,而 二 ={3,0) 
为 局 部 极 小 解 . 


图 12-1 


一 般 说 来 ,对 于 一 个 约束 极 小 问题 可 能 出 现 的 情形 有 : 

(1) 车 取 = 纪 , 巾 问题 无 可 行 解 (容许 解 ) ; 

(2) 著 Dz,inf {f(x)| 有 界 ,存在 x 使 f(x")=minlf/(x)| = 
inf 17(x)1 , 则 问题 有 精确 解 ; 

(3) 车 Dz 名 ,infif(x)1 =f" 有 界 ,但 不 存在 x* E 忆 使 Kz) =f， 


则 澡 题 无 精确 解 ; 
(4) 车 Dx,inflf(x)| = -~ ; 则 问题 为 无 界 解 ， 


12.1.2 凸 规 划 


由 于 凸 规划 是 一 类 重要 的 约束 最 优化 问题 ,尤其 在 理论 上 有 其 特殊 
的 作用 ,因此 我 们 有 必要 引进 凸 规划 的 概念 并 简要 介绍 其 性 质 . 
定义 12.4 ”对 于 问题 (12 -1) ,车 A(x) ,大 (rz)(=1,2,…, 六 是 开 吓 
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集 5 上 的 凸 (或 四 ) 函数,g,(x) {i=1,2,…,m) 是 线性 函数 , 则 何 题 称 为 
凸 规划 , 特别 的 , 若 扎 xz) 还 是 开 凸 集 5S 上 的 严格 凸 函 数 , 则 称 问题 (12 - 
1 是 一 个 严格 西 规划 问题 . 
例 12.2 设 4E 及 站 ER ee 下 ,由 线性 规划 问题 
min Cex, 
E t. Ax = 下 


芋 必 


时 


是 凸 规划 问题 . 
解 ”事实 上 ,线性 规划 癌 题 的 目标 函数 Fr 是 线性 函数 ,所 以 是 凸 函 
数 ,又 因为 其 可 行 域 为 


D= {xER | Ar= b,x 0|, 


它 是 个 多 胞 形 , 所 以 了 是 次 集 ,从 而 此 线性 规划 是 频 规 划 ， 

凸 规划 较 一 般 非 线性 规划 重要 ,是 因为 它 具 有 下 面 的 性 质 : 

定理 12.1 西 规划 辣 题 的 任何 局 部 极 小 点 都 是 全 局 极 小 点 , 且 极 小 
点 的 集合 为 凸 集 ， 

证 设 x 为 一 局 部 极 小 点 ,但 非 全 局 极 小 点 , 则 必 有 可 行 点 过 使 
太 Y) <A 八 x”). 因为 凸 规划 的 可 行 域 是 一 凸 集 ,所 以 连 线 段 上 的 点 * = 
(1-A)xz +AF(O <A<1) 也 都 是 可 行 的 ,又 由 于 所 x) 的 是 性 ,对 于 这 种 
点 有 


fxr (1 AFAx ) + ART) 
< (1 — AF) + Afx) = fx ), 


所 以 对 于 充分 小 的 和 A>0, 也 即 对 于 位 于 x" 邻近 的 连 线 段 上 的 x, 都 有 
所 zz) < 扩 x“) ,这 与 x 为 局 部 极 小 点 的 想 设 矛盾 ,所 以 凸 规 划 的 局 部 极 


小 点 都 是 全 局 极 小 点 . 
设 天 与 立 是 两 个 不 相同 的 全 局 极 小 点 ,自然 有 大 元 ) = 了 xX) ,线段 
x= (1 -AFA IO<A < (12 -2) 


上 的 点 * 也 都 是 可 行 的 , 故 由 所 x*) 的 凸 性 性 质 得 
fx) < (1 -AAE) + Af(X) = f(x), 
又 由 于 下 是 多 局 极 小 点 ,所 以 扩 x) 二 A(7) , 合 起 来 即 得 
flx} = fr) = fA), 
所 以 ,x E 也 , 即 嘱 是 一 凸 集 ， 
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推论 12.1 若 凸 规划 问题 为 严格 西 规划 , 则 其 全 局 极 小 点 (如 果 存 
在 的 话 ) 是 唯一 的 . 


证 (有 反 证 法 ) 若 全 局 极 小 点 不 唯一 , 则 可 假设 与 是 两 个 不 相同 
的 全 局 极 小 点 ,由 定理 12.1, 线 段 (12 -2) 上 的 点 x 也 都 是 全 局 极 小 点 ; 
男 一 方面 ,由 fx) 的 严格 同性 


可 知 fr) < (1 AMF) +AFE) = f(r) = f(x), 
从 面 导 出 矛盾 ,结论 得 证 . 


12.2 岂 何 最 优 性 条 件 


考虑 非 线 性 约束 问题 (12 -1) ,我 们 知道 几何 最 优 性 条 件 相 对 直观 ， 
故 先 给 出 其 问题 的 几何 最 优 性 条 件 , 并 办 以 图 形 来 理解 量 优 性 条 件 的 几 
何 意 交 ,然后 再 讨论 它 的 代数 表示 ,为 此 引入 几 个 概念 . 

以 下 我 们 用 cl D= ix S R"I1DNN(x) 关 局 , Y6 >0| 来 表示 及" 中 
集合 了 的 闭 包 . 

定 光 12.5 设 DER", 蕴 EclD,d0, 若 存在 5>0, 鸽 得 

T+AdED,YA EO,S), 

则 称 如 汐 集 合 了 在 点 五 姓 的 可 行 方向 . 

定义 12.5 如 果 豆 既是 了 在 点 Y 姓 的 可 行 方向 ,又 是 天 BD 一 衣 在 点 
x 处 的 下 降 方 向 , 则 称 # 为 f 在 点 主 钼 的 下 降 可 行 方向 . 

中 此 定义 可 知 , 从 点 下 出 发 , 溢 可 行 方 向 的 微小 穆 动 , 必 能 达到 了 D 
的 一 个 点 . 

定 久 12.7 集 台 呈 在 点 闻 处 所 有 可 行 方向 的 集合 

C= ldl d=0,38>0,3F+AdED, YA E08)] 

显然 是 一 个 以 天 为 顶点 的 锥 ,我 们 称 之 为 号 在 文 处 的 可 行 方 向 锥 . 

特别 地 ,当下 in 了 DD 时 ,DP 在 点 处 的 可 行 方向 锥 是 全 空间 及 . 

定 光 12.8 极 据 第 一 章 定 义 111, 如 果 DER",XED,AER'HI: 
DR 在 点 处 可 微 ,VY AF)"d <0, 则 4 为 /在 点 * 炬 的 下 降 方向 ,因此 ， 
我 们 称 锥 

F = {dl VvV Axi)d <0] 

为 了 在 点 于 处 的 下 降 方向 锥 . 


12.2.1 必要 条 件 
上 先 考 虑 只 有 不 等 式 约 东 的 问题 
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min Ax),x ER", 
st g(x) 人 0, (12 - 3) 
其 中 x) ,g(x) = (Cg (x) ,BT) (YE) fOr) ,B(x) (i=1,2,, 
， mm) 均 为 定义 在 CR 上 的 实 信 项 数 . 
图 (12 -2) 画 出 了 可 行 方向 锥 和 和 下 降 方向 锥 Pu ,从 几何 图 形 上 看 ， 
若 束 不 是 呈 中 极 小 点 , 则 在 点 无 处 消 下 降 方 向 移动 ,就 导致 目标 函数 了 的 
值 减少 ; 若 记 是 极 小 点 ,任何 下 降 方向 都 未 是 可 行 方向 ,而 任何 可 行 方向 
也 不 是 下 降 方向 ,也 即 ,不 存在 可 行 下 隆 方 向 ,这 样 就 得 到 了 一 般 约束 极 
小 问题 极 小 点 的 一 个 必要 条 件 . 


图 12 -2 
定理 12.2 设 约束 极 小 问题 
min f(x), {12 - 4) 
其 中 DCR" 是 非 空 集合 ,f:D 一 R. 设 x "5E D, 且 了 在 x“ 处 可 微 , 若 x 是 
该 问题 的 局 部 极 小 点 , 则 


FNCGC=% (12 - 5) 
证 ”用友 证 法 . 车 存在 4 EE Rnme: 则 二 E fF,d E 人 ,0 由 六 的 

定义 和 第 一 章 定 义 1.11 .存在 2 >0, 使 

fx” + Ad) < 天 天 ,YA ELD,S). 
由 6 的 定义 ,存在 5 >0, 使 

x +AdED, YA ED0,S,), 

再 由 x "为 局 部 极 小 点 的 定 尽 ,存在 机 >0, 使 

F(x) f(x) YXE N(x 站 六 (12 - 6} 
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取 3= mini18 ,551 , 则 x+24E Na(z )nD, 且 


Fr + Hd) < flx'), 


此 与 (12 -5) 式 矛盾 . 

定义 12.9 设 不 为 问题 (12 -3} 的 可 行 点 , 则 其 不 等 式 约束 条 件 在 工 
处 呈现 出 两 种 情形 : 

(1) g,(X) =0. 称 第 守 个 不 等 式 约 东 为 在 壹 处 起 作用 的 约束 或 紧 
约束 ; 

{2) g,(x) >0, 称 第 i 个 不 等 式 约束 为 在 x 处 不 起 作用 的 约束 或 松 
约束 . 

我 们 用 1(¥) 表示 在 可 行 点 * 处 起 作用 约束 的 指标 集 , 即 

Hx) = [il g(xE) = 0 = 1,2,..,m|. 

对 于 起 作用 约束 , 当 点 沿 某 些 方 向 稍微 离开 x 时 , 仍 能 满足 这 些 约 
束 , 而 沿 另 一 些 方向 离开 时 ,不 论 步 长 多 么 小 ,都 会 违 缘 这 些 约束 - 对 于 
不 起 作用 约束 , 当 点 稍微 离开 xX 时 ,不 论 什 么 方向 都 不 违背 这 些 约 东 - 如 
图 (12 -3) ,在 元 处 ,sz 和 g&, 守 0 是 起 作用 约 东 ,gs z0 是 不 起 作用 
约 东 . 


HT 


图 12-3 


因此 ,在 研究 一 点 处 的 可 行 方向 时 ,只 需 考虑 在 该 点 起 作用 约 东 , 那 
些 不 起 作用 约 东 可 以 暂且 不 管 . 

借助 定理 12.2, 下 面 给 出 另 一 个 几何 最 优 性 条 件 . 

定理 12.3 设 x" 是 问题 (12 -3) 的 可 行 点 ,f 和 gi(iE Nx 在 点 
x* 处 可 微 ,g,(i 丘 I(x* )) 在 点 x" 处 连 综 ,如 果 x" 是 该 间 题 的 局 部 极 小 
点 , 则 


FN CG, = 引 ， (12 -了 ) 
其 中 
C -= Idl YE ) >0iEKE )| 
证 ”由 定理 12.2 知 ,只 需 证 明 566 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


240 下 髓 ”约束 最 优化 方法 


对 于 任意 了 EE G0. 当 ETCx') 时 ,VY g,(x")"d>0, 所 以 由 下 降 方 
向 的 定义 知 , 存 在 6,.>0, 使 得 对 一 切 和 A 亡 (0,5,), 有 
BX + Ad) > gk) 二 有 六 后 Ix’ ), 
， 而 当 计 挟 (x) 时 ,因为 g(xX")>0, 所 以 由 Bg,(x) 在 点 x 处 连续 知 ,在 
在 6. >0 ,使 得 对 一 切 和 A E (0,8.) ,有 
| E(x +AT) > Oi EITx” ). 
取 8=min8,]i=1,2,…,m| , 则 对 一 切 A Ee {0,8) ,有 
BX” + Ad) > OF = 1,2,..…,m, 
| 从 面 z” +42 为 问题 (12 -3 的 可 行 点 , 显然 基因 此 了 是 在 点 “处 的 
一 个 可 行 方向 , 即 引 EEC, 从 而 CoEC， 
对 于 一 般 的 问题 (12 -1) ,有 如 下 定理 : 
定理 12.4 设 x' 是 问题 (12 一 1) 的 可 行 点 ,fF 和 gg.(i E(x)) 在 点 
* 外 可 微 ,g.(i 丘 Tx") ) 在 点 x 处 连续 ,RE =12 于 点 寺 处 连 
续 可 微 , 且 玉 (XY (x) h(x 线性 无 关 , 如 果 x“ 是 该 
问题 的 局 部 极 小 点 , 则 
FNGoNnH = SS, 《12 一 8》 
其 中 
GC, = dl Velx dd > 0,iE Ix)i, 
Hi = Id Vhlrx}y d=0,i=1,2,..,l. 
条 件 {12 -8) 称 为 问题 (12 - 1) 的 几何 量 优 性 条 件 . 易 知 ,此 最 优 性 
条 件 公 是 必要 条 件 而 非 充 分 条 件 . 
例 12.3 设 问 题 为 
min | (x —4)* + (x ~ 5)°|, 
4- 玫 -和 关 0， 


s.t,.18 — x —- 2x 全 0， 
x1 宇 避 ， 
x 芝 0， 
试验 证 最 优点 * ”= [2,3]7 满足 几何 最 优 性 条 件 , 而 *=[4,0]" 不 满足 
几何 最 优 性 条 件 . 
解 设 


fx) = (zl -4) + (x, -5) ， 


各 
gitx) = 4 -一 
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gi (x) = 8 -x - 2x,, 


Bi) 一 1， 
Ba = XX 
求 梯度 
2{x -4 hh 
V AK) =| 4 ,vy Bi1(X) -| Eva = | 下 
2(XY， — 5) < 一 之 


V g(r) = | WB 站 


在 点 芋 ” =[2,3]" 处 ,因为 g(x”) = 和 gtx} = 日 ,所 以 ElCX) 衬 0 和 
ask) 之 0 是 起 作用 约束 ;1 = 11,2|. 我 们 来 说 明 , 不 存在 同时 满足 以 下 三 
个 不 等 式 的 向 量 : 


YA a = [4, -4 ] = -4 -4d, <0, 
Vax dg = [-1， = 和 [| = - d, > 0， 


velx d= [1, -2 ]= -4-24 >0 


从 上 面 各 式 看 出 ,第 一 个 不 等 式 可 化 为 由 + 中 >0, 而 第 二 个 不 等 式 
可 化 为 中 + 史 <0. 所 以 它们 是 互相 排斥 的 , 亦 即 不 可 能 存在 向 量 @= 
[d;,d;] ,使 上 面 三 个 不 等 式 同时 得 到 满足 . 这 说 明 x' 满足 几何 最 优 性 
条 件 . 从 图 12 -4 也 和 容易 看 出 ,在 点 x' 处 ,下 降 方向 锥 下 与 可 行 方向 锥 
5 的 次 集 是 空 集 - 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


242 下 着 ”多 束 最 忧 化 方法 


再 考查 点 芭 = [4,0]5, 由 下 降 可 行 方向 的 定义 ,容易 验证 , 民 z)》 = 11， 
4| , 旦 能 满足 下 面 三 个 不 等 式 的 可 行 方向 d=[d,,4,]" 是 下 降 可 行 方向 ， 


vd = [0, -101[] = - 10d, <0, 
veal = [-2，- 人 7] =-2d -由 >0， 


如 于》 如 


0.0[7] = d, > 0， 
EE 


此 时 ,车 取 d; >0,d, < -二 4d,, 那 么 4 的 方向 就 是 下 降 可 行 方向 .不 满 
足 几何 最 优 性 条 件 ,自然 它 肯定 不 是 极 小 问题 的 最 优点 . 
12. 2.2 充分 条 件 


定理 12.5 车 f 和 g.(i EE I(x')) 在 点 x*' 处 可 微 , 甩 了 为 凸 丫 数 ， 
g,(i E I(x" ))} 为 四 函数 , 设 x" 是 问题 (12 -3) 的 可 行 点 , 且 有 = 使 得 
Velx)'r >0, vieEx’). 
如 果 在 x 点 有 
NG = 多， (12 -9) 
其 中 GC = Idl Y g(x)'d >0,iEelx)! 
成 立 , 则 x*" 是 该 问题 的 局 部 极 小 点 . 
证 〈 反 证 ) 假 定 x* 不 是 该 问题 的 局 部 极 小 点 ,同时 设 x 为 该 问题 
的 局 部 极 小 点 , 则 有 
flx) < 所) 天主， 
g{x) 0 = 1,2,.,m. 
因为 为 凸 函 数 ,8,(i E K(x")) 为 四 函 数 ,所 以 有 
0 > fir) -fx Vr) (x -x"), 
Og{(x) - glx ) SE atx ) (Cr -x ,Yifelx ). 
若 记 =Az+ (1 一 A)Cx 一 x "),0 < 入 <1, 且 ?满足 
velx rz>0,vielxr), 
则 只 要 入 足够 小 ,就 有 
ytr my = AVAx T+ -A VAx) (rs -x ) «0, 
Vgltxr)y = 和 有 有 (EL 一 人 g(x ) (x -xX ) 区 
AVg(xX zr > OiE I(r), 
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这 与 条 件 Pameo = 纪 矛 盾 , 故 * "是 该 问题 的 局 部 极 小 点 ， 
郊 何 最 优 性 条 件 直观 易 谎 ,但 是 在 实际 计算 中 使 用 起 来 并 不 简便 . 为 
此 ,我们 在 下 节 给 出 Kuhn - Tucker 条 件 . 


12.3 引用 Lagrange 函数 的 最 优 性 条 件 


如 前 所 述 ,车 我 们 令 
B(x) = (B(x) B(x), gr) )T, 
RX) = Ch(Cx) h(x) ,h(x))’, 
WH = (Ws) 
y= 【二 2 
又 车 令 广 祥 Lagrange 淆 数 为 
Lrsm,o) = uo fx) -arg(z) ~ wh(x), 
狭义 Lagrange 也 数 为 
LAFH VO) = FF) -ug(x) 一 whtr), 
则 可 定义 -J 条 件 ,K -TT 条 件 如 下 : 
定义 12. 10(F -J 条 件 ) 称 如 下 的 条 忻 
下 ”和 
L(x WH 0 ) = wu flr' ), 


《ao 0 ) 0,x ,0" > 0, 


《12 -10) 


BL) 0 = 1,2,,m 
为 非 线性 问题 (12 - 1) 的 下 -J 条 件 , 并 称 满足 此 条 件 的 点 为 -J 点 . 
注 ”以 上 的 F -J 条 件 称 交 非 线性 化 F -J 条 件 , 特 别 地 ,其 对 应 的 线 
性 化 了 F- 丁 条件 为 : 
us YA) 一 之 上 Va(x')- De Vh(x') =0, 
WB (x ) =0,7=1,2,.,m, (1l2—11} 
#0 = 0,]1,2,.,m. 
定义 12.11(K -TT 条 件 ) 称 如 下 的 条 件 
L(x a 0 ) Lr,u ,vw ), 
Lr au’ ,0 ) = f(x ), 
nun” > 0, 


(12 - 12) 


Bit ) 宇 0,i 至 ] 2, ,mm 
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为 非 线 性 问题 (12 -1) 的 K-T 条 件 , 并 称 满足 此 条 件 的 点 为 天 -TI 点 ， 
注 ”以 上 的 K-T 条件 称 为 非 线 性 化 K-T 条 御 ,特别 地 ,其 对 应 的 
线性 北 K-T 条 件 为 : 
VAlx*)- Du V glx ) 一 7 V htx") =0, 
ug (lx ) =0,7=1,2,.,m, (12 - 13) 
Ww 0 = 11, ,mm, 
Vx uo) (x -x ) 0 Yr ED), 
Lx am) = f(x ), 


NR” 宇 澡 ， 


向 量 形式 为 : 


EX) 0 = 1,2,.,.m, 
定理 12.6 若 f(x) ,g(x) (i E11x')) 是 钙 着 数 且 于 x 处 可 微 ， 
h(x)(i=1,2,…,l) ,是 线性 函数 , 则 线性 化 K-T 条件 与 非 线 性 化 K-T 
条 件 等 价 . 
证 “ 熏 ”( 反 证 法 ) 由 已 知 , 非 线性 化 K-T 条 人 忻 于 (xz ”9 ) 点 
满足 , 即 
Lx Hu 0) SE Lx,nR ,Vv ), 
Lix WH 0 ) = fx ), 
xw” 守 0， 
gr) Or = 1,2,. ,mm 
成 立 ,车 假定 线性 化 K-T 条 件 中 ,存在 x ,使 得 
VLF Hu ,vw yx x <0 {x ED), 
邻 x 一 x”=f, 对 充分 小 的 0<A <1, 叉 令 XX=X +AL， 
所 以 有 
Lxu vw) = Lx nv) + AYE ,ul ,人 
因为 Fr <0, 所 以 对 充分 小 的 0<A<1 有 
Lr UU) < Lx ,u,v ), 
Hzr=r+afz -xz =axr+fl-A)x 王 卫 与 K-T 条 件 第 一 条 了 予 
盾 , 所 以 一 定 有 
多 ER 了) 
“一 "车 线性 化 氏 -T 条 件 于 (xz ,aa ,2 ) 点 满足 , 易 得 xz ,vw ) 
是 西 函数 ,所 以 有 
Lxn 0 ) Lx a 0) + V(x’ NH ,0) (Xx-x 


Lx nu Jv (Yr ED)., 
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便 得 到 非 线性 化 人 - 工 生 件 ， 
12.3.1 必要 条 件 


1，Fritz Jobhn 条 性 

不 失 一 般 性 ,下 面 我 们 只 对 线性 化 情形 进行 详细 推导 ， 

首先 ,对 第 一 章 的 定理 1.4( Farkas 引 理 ) 我 们 给 出 其 几何 意义 . 如 图 
12 -5 是 其 在 二 维 情形 下 的 几何 解释 . a 和 oa, 张 成 了 贞 多 面 锥 4. 分别 
与 @, 和 成 锐角 的 向 芭 集 合 是 两 个 半空 间 ( 在 二 维 情形 下 是 两 个 半 平 
面 ) ,这 两 个 半空 间 的 交集 是 图 12 -5 中 由 向 量 i 和 d 所 张 成 的 凸 多 面 
锥 B. 显然 此 锥 中 的 任意 向 量 4d 同时 与 mi 和 ors 交 成 锐角 ， 


图 12-5 


Farkas 引 理 指出 , 某 一 向 量 与 此 多 面 锥 B 中 任意 向 量 都 交 成 锐角 的 
充 要 条 性 是 ,该 身 贡 处 在 凸 客 面 锥 上 之 中 .图 12-5 中 的 5 处 在 各 中 , 它 
就 与 B 中 的 任意 向 量 交 成 锐角 ;反之 ,入 不 在 A 中, 它 就 不 与 B 中 的 所 有 
各 二 交 成 锐角 ,例如 .di 与 交 成 钝 前 . 

下 面 介 绍 与 Farkas 引 理 模 匹 配 竟 男 一 个 引 理 . 

引 理 12.14(Gordan) 设 ae, yc 是 m 维 向 量 ,不 存在 向 芋 了 


使 得 
md <0Oi= 1,2,..,m 
成 立 的 充 要 条 件 是 ,存在 不 全 为 零 的 非 负 数 由 ,加 ,um 使 得 
3 uk = 0, 


该 引 理 也 有 明显 的 几何 意义 .“ 椒 存在 向 量 d 使 得 amid <0,i=1， 
2,…,m” 在 几何 上 表示 , 闲 量 al ,as ,… ,ee 不 会 同时 处 在 过 原点 0 的 任 
何 超 平面 H 的 一 入 ( 图 12 -6 给 出 二 维 的 情形 ). 这 时 我 们 总 可 以 适当 放 
大 或 缩小 各 身 基 的 长 度 [ 相当 于 选取 不 全 为 零 的 非 负 数 nu um ，… ,ua 对 
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应 去 乘 ea ,ea,,… ,a ,使 得 变化 后 的 向 量 合成 为 零 向 量 . 这 是 容易 办 到 
的 . 例如 ,在 图 12 -6 中 ,车 取 坟 =1,w =2,w, = 二， 
则 
Bi + ts + ue = 0. 

定理 12.7( Fritz John 条 件 ) 设 x' 是 问题 (12 
-1) 的 局 部 最 优 解 ,又 设 (x) ,gy ,8 ,8 上， 
,hi 在 点 x 处 可 微 ,那么 必 存 在 不 全 为 堆 
的 数 


| sa so] sD 


使 得 
uo VAr)-— Dr VE(XE)- Du Vh(x) =0, 


gx = 0,7=1,2,.,m, 


证 分 丙种 情形 ， 
《1) 车 他 及 (x ,VY h(x ),…, 玉 h(x") 线性 相关 ,此 时 存在 那 
委 必 存在 不 全 为 零 的 数 2 9 使 得 


了 


SrvVh(r)=0, 


所 以 ,只 要 取 w=0,u,=0,i=1,2,…,m, 则 结论 成 立 . 
{2) 车 下 hr” } 了 h(x” je h(x” ) 线 性 无 关 , 设 


Ix) = |il glx) = 0,i= 1,2,.,m|, 
因为 x 是 (12 -1) 的 局 部 极 小 点 ,根据 定理 12. 4, 不 存在 向 量 # 使 得 
VvV ir} d «0, 
-Vax )d <O,iEIx’)}, 
YE d=0,i= 1,2,..,! 


同时 成 立 ,把 Y 灰 x ) 和 所 有 的 -VY g(x")( 其 中 i=1,2,…,m) 依 次 看 
作 是 引 理 12. 1 中 的 ,Qa;,… ,那么 必 存 在 不 全 为 零 的 数 


uw Ou OE i =1,2,.,1), (12-14) 
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使 得 myAz) -Du ver)- Drvhlr)=0, 


(12 - 1) 
如 果 对 于 所 有 的 i=1,2,…, 抑 但 i 闫 1x"), 令 4,=0, 那 么 (12 -14) 和 
(12 -15) 可 分 别 写 成 


bn YAx )- FV gtr') 一 Do V hx) = 了， 


【ti2 一 16) 
a BO a 0 sm, 
且 由 “对 于 所 有 的 i=1,2,… ym, 但 2 刁 人 Xx") , 令 w=0”, 还 可 推出 
ug x) = 0 = 1,2,.…,m (C12 -17) 


(这 是 因为 ,对 于 i 挟 T(x) ,g(x") >0,(12 -17) 就 暗示 w=0.) 
把 (12 -16) 和 (12 -17) ,合并 起 来 正 是 我 们 要 证 明 的 结论 

2，Kuhn-Tucker 条件 

我 们 可 看 出 , 当 Fritz John 条 件 中 am =0 时 ,也 即 Y _ Ax”) 的 系数 为 
0, 则 fx) 将 从 最 优 性 条 析 中 消失 ,因此 最 优 性 条 件 便 仅 能 说 明 起 作 
用 约束 函数 的 梯度 是 线性 相关 的 - 而 对 判别 一 个 可 行 点 是 否 为 极 小 点 就 
没有 了 意义 , 即 当 w=0 时 ,Fritz - John 条 件 失效 . 

分 析 其 失效 的 原因 ,我 们 发 现 是 因为 ,在 所 考虑 的 可 行 点 处 ,起 作用 
的 约束 函数 的 梯度 线性 相关 了 . 如 果 ,对 起 作用 的 约束 函数 的 梯度 附加 上 
线性 无 关 的 条 件 , 则 可 保证 m >0, 这 便 是 Kunhn-Tucker 条 件 的 内 容 ， 

定理 12.8(Kuhn-Tucker 条 件 ) 在 问题 (12 -1) 中 ,假设 

(1) x “是 局 部 最 优 解 ; 

(2) f(x) .BEEBE hh 在 点 x 处 可 徽 ; 

(3) T(x) = 1ilg (tx) =0,i=1,2," mi; 

(4) 对 于 所 有 iE 1 的 V g(x ) 与 V g(x"),VY g(x ),, 
V Sr ) 线 性 无 关 ， 
那么 . 必 存 在 实数 ua aa annyp 2 使 得 


VAx') a Fu val) i 之 由 YE ) = 疙 ， 


ug (lx) = 0 = 1,2,.",m, 


uO = 工 
证 根据 Eritz John 定理 ,存在 不 全 为 零 的 数 向 ,下 ,加 ap， 
2 ,站 使 得 
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区 


中 可 ) 一 0 过 ] ms 


(12 - 18》 
uO = 0,1,2,. 了， 
由 条 件 (3) 知 ,三 关 0, 即 蕊 >0. 若 令 w = 二 ,并且 用 疝 除 (12 -18) 的 各 
En 
式 两 边 , 则 得 证 . 
另外 ,还 有 如 下 定理 ; 


定理 12.9 若 x 是 (PP 问题 的 最 优 解 , 且 扩 zy g(x)(i=1,2,.， 
mn) 是 西 函 数 ,是 存在 x 使 得 g,(x) >0(i e KE))( 此 条 件 称 为 Slater 
条 件 ) 成 立 , 刚 存 在 & ”,v 使 得 (xz ,ww” ,vw ) 为 所 给 问题 移 KK-T 点 (证 
明 略 )， 
例 12.4 求 问 题 
min A(x) = x), 
gx) = 16- (xs 一 4 和 一 和 > 0, 
hx) = (xz -3)2+fr -2) -13=0 
的 天 -T 点 . 


图 12-7 
解 如 图 12 -7 所 示 , 问 题 的 可 行 域 了 为 圆周 上 xz) =0 在 贺 
gi(x) =0 内 的 那 部 分 . 因为 对 任意 的 x E D, 都 有 VV f(x) =(1:0) 
叉 知 ， 


V gx) =[ -2x -4), -2r,]' ,VY h(x) 
=[2¢x, — 3) ,2 -2)]"， 
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而 对 于 以 下 三 组 解 
z = (6.4,3.2)", 


xz = (0,0)", x = 3+ v13,2)", 
1 1 wu" 一 一 一 0 

un 一 B 4 器 和 

二 本 2 1 wu = vl3 

电 = 0. 型 三 了 26 


易 验 证 都 满足 K-T 条 件 , 即 x ,x “ ,x”“ 均 为 K-T 点 ,但 由 图 上 不 难看 
出 ,只 有 x*' ,x 才 是 问题 的 局 部 极 小 解 . 所 以 -TT 条 忻 是 局 部 极 小 的 
必 变 非 充分 条 件 . 


12, 3. 2 充分 条 件 


定理 12.10 设 x 是 如 下 凸 规划 问题 : 
人 
st (= 1,2,.,m, 
其 中 ,f 为 同 函 数 ,g,(x*) 守 0,7=1,2,… ,mm 为 症 隐 数 的 一 个 可 行 解 , 且 在 
x" 处 K-T 条 件 成 立 , 则 x" 是 此 凸 规划 问题 的 最 优 解 - 
证 国 为 g(x) 宕 0,i=1,2,…,m 为 问 函 数 , 所 以 有 
0 gx) Sg{xX + VY g(x (一 


(12 -19》 


= 有 gz ) (x-x ier ). 
义 因 为 ,在 *" 处 K-T 了 条件 成 立 , 即 
vA) - Su velr') =0, 
Vr) = Tuva’), 
因此 得 


Vflx) (rx) = 3 u Vg{tx) (x-x) 0, 


ts" 


而 x) 为 出 函 数 , 故 对 任意 ED 有 
fr) Hx) + Vfx) (x -x ) fx ), 
所 以 屏 " 是 此 同 规 划 问 题 的 最 优 解 . 
而 且 在 凸 规划 部 分 我 们 已 经 证 明了 , 凸 规划 问题 的 年 何 局 部 极 小 点 
都 是 全 局 极 小 点 ,所 以 此 处 的 最 忧 解 亦 是 全 局 最 优 解 . 
定理 12.11 车 (x ,u" ,v") 是 {PP) 问 题 满足 非 线性 化 K-T 条 件 
的 点 , 则 x 为 占 题 的 最 优点 - 
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证 因为 uw" 兰 9, 所 以 对 xED 都 有 
Fr) =x 0 ) SLXH ,Vv ) 


=Nx) 一 Du Valx)— Dr Vh(xr) 


=Ar) 一 Bae Va (x) < fx), 
所 以 ,x" 是 (PP) 问 题 的 最 优 解 ， 
定理 12.12 设 (1) zx 为 非 线 性 问题 412 -1) 的 一 个 可 行 解 ; 
(2) 车 存在 二 1,-…,m) 配 KK-T 条 
人 性 成 并 ; 
(3) 对 任何 满足 


p VYh(lx) =0,i=1,2,.…,l, 
p BE) 0,igIx) Bu =0.=1,2,..,m, 
p Yatr) =0iENx) Au > 07= 1,2,..,m 
的 向 其 p00 ,都 有 
pp WE a ,vp > 0, 
则 x ”为 非 线 性 问题 (412 -1 二 的 严格 局 部 极 小 点 . (证 明 赂 》 

综合 前 面 的 讨论 ;我 们 可 得 出 如 下 的 最 优 性 条 件 : 

1. 车 (x* ,wu” ,v") 是 (PP) 问 题 满足 非 线 性 化 K-T 条 柏 的 点 , 则 x 
为 (PP) 间 题 的 最 优点 . 反之 ,车 为 (CPP) 问题 的 最 优点 ,是 Xx) ,g(x*) 
(i=1,2,…,m) 是 凸 函数 , 且 存 在 w 使 得 g.(x) >0(i E(x"))( 此 条 件 
称 为 Slater 条 件 } 成 立 , 则 存在 ,vw 使 得 (z .wu" ,vv ) 为 所 给 问题 的 
K-T 点 . 

2. 车 * 为 (PP) 问 题 的 最 优点 , 则 存在 w" ,om 使 得 (x”,w”,w” ) 为 
(PP) 问题 的 线性 化 KK- 了 点 . 反之 , 若 (x" ,#” ,vv ) 为 (PP) 问 题 的 线性 
化 K-T 点 , 且 Ax) ,gxX)(iE Ix )) 是 凸 函数 且 于 x 处 可 徽 , 则 = 
为 LPP) 和 问题 的 最 优点 . 

例 12.5 试 分 析 求 解 下 列 何 题 

min Ax) = wi + wa, 
st. gi(X) =— Cx 二 和 妇 ) +1 3， 
BE) =- {x +x)+10 


后 


hz) =x +r -9=0. 
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解 ”求解 g(x*) =0,hk(x) =0 的 交点 ,得 其 坐标 为 =( -2 37， 
-1.84).. 
将 其 代入 go(x) 得 :g(xX*)= 一 ( -2.37 一 1.84) +1=5.21>0, 所 以 满 
足 约束 条 件 , 且 g(x) 产 0,&h(x) =0 为 x 处 起 作用 的 约 东 . 


1. 检查 在 x" 处 起 作用 的 约束 的 梯度 是 否 线性 相关 ， 
令 coc Vetx ) +t+c WRITE )} =0, 


-1 2xr 0 
1 | | 加 | 
可 知 , 只 有 当 c =cs=0 时 上 式 才 成 立 , 故 Ve,(x”) ,VYh(x" ) 线 性 无 关 . 


2. 检查 K-T 条 件 是 否 满 足 
YARr ua Ver) -us Ver ) -YYRX =0, 


Dx 三 一 LT-1 办 了 区 心 
ee | al 
1 - 2%2 -1 2x* 0 
即 ur Cl 一 交 -xx ) = 0, 

wu (1 —- xr - x7} =0, 


中 中 
ui 节 人 2， 之 吕 ， 


解 得 ww =0o =1.05,o ”=0.778 ,满足 K-T 条 件 . 


3， 检 查 充分 条 件 : 
Vif(x') = Ya) 和 [ 
vig (x ) 一 [。 Cr) 二 | a 


no ple -ele -te 


= [P, P.1[[。 -oz78[。 0] -1.0s[? Wl 


0.444 0 J 


hi Pl 0 0.5441LPp, 


= 0.444P: + 0.544P; > 0, 
即 对 已 z0 均 成 立 , 所 以 x”=( -2.37, -1.84) 为 严格 极 小 点 . 
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本 书 第 11 章 中 介绍 了 线性 规划 的 对 偶 理 论 ,本章 所 介绍 的 非 线 性 规 
划 的 对 偶 理 论 是 对 前 述 内 容 的 进一步 扩充 , 它 对 于 约 东 最 优化 问题 的 最 
优 解 的 性 质 及 最 优 性 条 件 的 指示 等 都 起 着 重要 的 必用. 

给 出 一 个 非 线性 规划 问题 (我 们 称 之 为 原 问题 ) .与 它 有 密切 联系 的 
是 男 一 个 非 线 性 规划 问题 (后 者 称 为 对 个 问题 ) ,在 某 种 上 是 性 的 假设 下 ， 
原 问题 与 对 个 问题 的 最 优 解 之 间 以 及 最 优 自 标 值 之 间 有 密切 关系 ,因而 
原 问题 的 求解 可 以 间接 地 归结 为 对 偶 问 题 的 求解 - 


13.1 Lagrange 对 偶 问 题 与 弱 对 偶 性 定理 


设 原 问题 为 : 
CPP)Y min Ax),x 人 ER", 
s.t. g(xX) 0, 
h(x) = 0,x Ek, 
其 中 (x) = (gy (x) ,8 ( 工 ) ,go (CF)) ROT) = (Ch) Cx) ,h(x),, 
CX) TA) gx) E12,m) ,h(x) (i=1,2,…,) 均 为 定义 在 
CR" 上 的 实 值 函 数 . 下 面 我 们 考虑 原 问题 (PP) 的 对 侦 规划 问题 ， 
CDP) max wiu,r), 
9-t. 中 六 站 
其 中 (a,0) = minL(x,w,0) ,L(x,w,0) 是 原 问题 的 Lagrange 乘 子 函 
数 , 即 


L(xu,v0) =Ax) -wu g(r) —- wh(x) 
= 不 工 ) 一 他 Et) = ht) 

在 对 偶 问 题 {DP) 中 的 日 标 函 数 oo) ,我 们 称 之 为 Lagrange 对 个 函数 ， 
其 中 与 不 等 式 约 东 &,(r) 230 相 匹 配 的 乘 了 于 ui 是 非 负 的 ,而 与 等 式 约束 
h(x) = 人 0 匹配 的 磁 子 不 爱 符号 的 限制 . 

由 于 对 眉 问 题 是 极 太 化 函数 L(x,w,v)} 的 极 小 值 组 成 ,因此 又 称 
《DP) 为 极 太 - 概 小 对 侦 问 题 . 

对 于 原则 题 4《PE) ,可 以 作出 不 同 的 对 偶 问 题 (DP}, 比 如 当 (x;}， 
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gx) ,h(x) 是 在 CR* 上 具有 一 阶 连 续 偏 导数 恒 为 凸 函 数 时 ,可 以 考 
虚 如 下 面 的 对 侦 问 题 : | 
(DPI) max L(xX,NH,V), 


st L(x,H,v} = 0, 


Hu 人 0， 
亦 邯 max L(x,t,v), 
st fx) -ug (x) - wh (x) =0, 
nu. 


所 谓 非 线性 规划 的 对 侦 问 题 理论 ,就 是 研究 原 间 题 (PP) 与 对 偶 问 题 
《DP) 或 (DP1) 之 间 的 关系 . 它 包括 (PP) 与 (DP) 的 最 优 目标 函数 值 之 间 
的 美 系 以 及 PP) 与 (DP) 的 最 优 解 之 间 的 关系 . 
例 13.1 设 原 问题 
min 2 + %2 ， 
.4 -x 一 和 aa 十 十 之 姜 ， 
WL 党 了 沪 昌 ， 
原 问题 的 最 优 解 z” = (2,2) ,对 应 的 最 优 和 目标 值 等 于 8. 
邻 g(xX) =xl +xo 一 4, 革 = | (Cx, x) xi ,22 0|, 
对 个 函数 为 
piu) =min|x’ + 和 一 如 (Xi 十 和 — 4) | ,x 宇 人 0]} 
=minix — uxi1 #10! + min|%2 - wxa | x 0} + 4u, 


(13 - 1》 
显然 ,如 果 xz0, 式 (13 -1) 中 的 极 小 值 在 *: = 六 = 了 处 达到 ;如 果 w<0， 
式 (13 -1) 中 的 极 小 值 在 x 二 Ya 二 和 处 达到 ,因此 


+ 4uw,u 宇 0， 


PL) = 2 
41， < 心 ， 

对 侦 函 数 pa) 为 凸 函数 ,并 且 当 zz0 时 它 在 uw” =4 取得 极 大 值 8. 可 见 
原 问 题 与 对 偶 问 题 二 者 的 最 优 目标 值 相 等 . 

下 面 的 对 偶 定 理 及 其 推论 措 出 ,对 于 可 行 点 而 言 , 原 问题 与 对 偶 癌 题 
的 目标 值 不 必 相 等 ,但 车 二 者 相等 时 , 则 原 问 题 的 可 行 解 与 对 侦 问 题 的 可 
行 解 将 分 别 成 为 最 优 解 ， 

定理 13.1( 弱 对 个 定理 ) 设 f 人 x) ,g(x) (t= 1,2,.° ,mh Cx) tt 
=1,2,… ,1) 均 为 定义 在 XCR" 上 的 实 值 函数 , 则 对 于 (PP) 问 题 的 可 行 
解 让 及 (CDP) 问题 的 可 行 解 ( 豆 ,V) 均 有 
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x) 加 二， 了) ， (13 — 2) 
证 由 定义 ,对 任意 的 可 行 解 下 ,(,) ,环宇 0 , 均 有 
PLEH,B) = min{t A(x) -gCx) -Dhl(x)ixE 和 Xl 
| NE) 
< NF), 
即 式 (13 -2 成 立 ， 
推论 13,1 车 x) ,g(x)(i=1,2, ,mm) ,R(X (CE=1,2,… ,1) 为 
定义 在 半 CC 奶 ”上 的 实 值 函 数 ,X、( 下 , 台 ) 分 别 为 (PP) 及 (DP) 的 可 行 解 , 且 
满足 
HF) = pV), 
则 天, {如 , 如 分 别 汶 (PP) 及 (DP) 的 最 优 解 . 
证 ” 据 候 设 训 《下 ,大分 别 为 (PP) 及 (1DP) 的 一 个 可 行 解 ,又 设 *x 为 
(PP 的 任意 可 行 解 , 由 定理 13. 1 及 本 推论 的 假设 ,长 有 
Hr) > ou,D) = fF), 
上 式 表 明王 为 (PP)}) 的 最 优 解 . 
车 设 (#, 如 分 别 为 (DP) 的 任 一 个 可 行 解 , 同 理 得 
PH,0) SAT) = pH,D), 
可 见 ,( 豆 , 台 ) 亦 为 (DP) 问题 的 最 优 解 . 
例 13.2 设 原 问 题 (PP) 为 ， 
min Ax) = zx! - x,, 
st g(xX) = * -1=0, 
gr) =—- x -x +26 0, 
hx) = x TY -6 =0, 
其 对 偶 间 题 (DP) 为: 
max plR,V), 
s.t,， 在 宇 改 , 
其 中 pu,5) =min|xt 一 x + u(x 1) +n (26— x — x) 十 和 十 和 5 一 
6}1. 
车 给 出 = (1,5)" ,= 0, 名)",5= 于 ,容易 验证 ,下 为 (PP) 的 可 行 
解 , 而 (如) 为 (DP) 的 可 行 解 ,并 且 
Ax) = pH,v) = 24, 
据 推 论 13. 1 知 ,让 《下 ,区 分 别 为 (PP) 及 t DP) 的 最 优 解 . 读者 还 可 根据 第 
12 章 中 的 定理 12.9 验证 为 原 问 题 (PP) 的 最 优 解 ， 
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13.2 鞍点 判别 条 件 


定义 13.1( 鞍 点 ) 对 于 原 问题 (PE ) , 设 Lagrange 溢 子 函数 
L(xru,v) = Ax) -Wgtx) - yh(x), 


其 中 xER'uER",vEeR', 
称 点 (下 ,于 ,) , 豆 关 0 为 L(x ,u,v) 的 散 点 , 若 对 任意 的 ,u(t# 关 0) 及 5, 总 
有 下 式 成 立 : 

LENV) SLX,H,D) < L(xX,H,V), i 


即 是 说 关于 x*,(,H,D5) 是 上 的 极 小 点 ,而 关于 Cw,V),( 王 ,5) 是 上 的 极 
大 点 . 给 定 原 问 题 (PP) , 求 (¥,,5) 满足 式 (13 -3) 的 问题 又 称 为 通 氮 
问题 . 
关于 鞍点 与 K ~ 下 点 和 最 优 解 之 间 的 关系 有 如 下 结论 ， 
定理 13.2( 索 点 判别 条 件 1) 车 f(x) ,g(x)(i=1,2,… ,mm) ,h(x) 
(i=1,2,, 了 ) 均 为 定义 在 CR" 上 的 实 值 函 数 , 点 (x,W,V) 为 上 (xX,#， 
0) 的 远 点 的 充分 必要 条 件 为 (I,W,5) 为 原 问题 (PP) 的 非 线 柱 K - 工 点 ， 
证 不 失 一 般 姓 ,在 (CPP) 中 我 们 只 考虑 不 等 式 约束 ， 
首先 证 充分 性 . 设 在 点 (¥, 豆 ) (PP) 的 非 线 性 玫 -T 条 件 被 满足 , 即 
(1)》 对 任意 的 可 行 点 + EX, 有 (E,W) 所 LAX,W)， 
(2) 下 下 本) =A(x), 


(3) H20, 
(4) gi(K) 0,i=1,2,.,m, 
由 条 件 (1) ,对 任何 癌 行 点 ,总 有 


LE,R) SG L(x,H), (13 -4) 
又 由 条 忻 (2) ,(3) ,(4), 对 全 和 何 大, 有 
L(Y,u) = Ax) - Dy 8k) <f(r) = LF,w), (13 -5) 
综合 (13 -4),{13 -5) 有 
LX.NY SL(X,H) SE Lix,u), 
即 (元 ,五 ) 为 工 (二 ,的 革 点 ， 
下 证 必要 狂 , 设 (,) 为 L(x,u) 的 鞍点 , 据 数 点 的 定义 ,显然 氏 -T 
条 件 (1) ,(3) 自然 满 足 . 下 面 用 反 证 法 证 明 K-T 条件 (4) 成 立 . 
设 相反 ,车 存在 遍 (1 和 < 记 所 mn) 使 名 《xX*) <0, 我 们 取 = 训 (i 闫 ib)， 
ui < ; 则 有 
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L(xX,u) 一 了 下: 至》 = Yn, 一 wg) CE — we EC) > 0, 
即 对 任意 的 # 守 0,L(F,#) > 上 (下 ,可 ) ,这 与 (WW) 为 L(x, ) 的 鞍点 牙 夏 ， 
所 以 g.() 守 0,i=1,2,…,m, 基 KK -TT 条 件 (4) 成 并 

欲 证 明 K -了 条 件 (2) 成 立 , 即 f() = 工 (4z, 吾 )， 即 只 须 证 明 
2 ECF) =0, 亦 即 
gx) = 0 = l,m). 
设 相反 , 若 有 到 gu(F) >0, 则 必 有 za >0 及 gLX) >0, 我 们 取 w= 
Bi io) ,uo = 人 0, 则 有 
LEu) -LXRH) = PD (Eu)a(F) = ga(F) > 0， 


即 对 性 意 的 #0,L(X ,wu) > LX, 了 HH) ,这 与 (下 ,WW) 为 上 (*,#) 的 获 点 政 盾 ， 
所 以 


wh 
| 
太 
A 

多 

由 

= 


亦 即 


推论 13.2 车 (元 ,下 可) 是 地 xz o 切 的 著 点 , 则 工 是 原 问 题 4FP) 的 
最 忧 解 ， 

证 ” 据 定理 13.2 ,( 工 ,二 ,有 是 (PP) 的 非 线性 K-T 点 , 另 据 第 12 章 
定理 12 ,x 是 (PP) 的 最 优 解 . 

定理 13.3( 鞍 点 痢 别 条 忻 2 一 一 对 侦 定 理 ) 

若 丰 x CE=1,2 ,mh (T)=1,2,'…, 门 均 汶 定义 在 *C 
R" 上 的 实 值 阔 数 ,点 (下 , 囊 , 可 为 L(Y 在 , 基 ) 的 鞍点 的 充分 必要 条 件 为 

《1) 下 是 (PP) 的 最 优 解 ; 

(2) (如 ,可 是 (DP) 的 最 优 解 ; 

(3) plu,v) =/(x). 

证 ”必要 性 . 由 推论 13.2 可 知 ,五 蚌 (PP) 的 最 优 解 ,从 而 结论 (1) 
成 立 ; 

由 gl, 如 ) 的 定名 ,有 

plH, DY = min {f(x) -g(x) -Thtx)| = minL(x ,WH,5), 
因为 { 示 , 豆 , 本 是 了 (Et 的 鞍点 , 即 对 任意 工 挟 到 CR 有 

上 (无 ,下 ,下 ] < L(x,H,vV), 
故 
PHD) = LT,H,D) = f(F) - HW g(x) - Th(T), 
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由 结论 (1) ,h(x) =0， 
又 由 定理 13.2 中 证 明 , 必 有 


We(x)} = 0, 
于 是 得 到 

pu,5) = f(T), 
即 缮 论 53) 成 严 - 又 由 推论 13.1 可 知 ,(W,5) 是 (DP) 的 最 优 解 , 即 结 论 
(2) 亦 成 立 ， 


充分 性 , 据 结 论 \1) ,(2),(3) ,读者 不 难 证 明 , 对 于 , (W 兰 0) ,五 ， 
以 长 任意 的 YE CR ,任意 的 #0,v, 下 列 不 等 式 成 空 . 
fF) -WBE(F) -ThE) Sf(x) ~- E(x) ~ Dh(x), 
fx) -mgr) ~ wh(r) fF) - WE(X) - Th(F), 
亦 即 下 式 成 立 : 
Lx,H,V) < LT,H,V) SE L(x,W,V), 
点 (三 ,下 , 动 是 世人 区 的 鞠 点 . 
例 13.3 设 源 问题 (4PP) 为 
min f(x) = xi - x,, 
s.t. k(x) = xI-10, 
prtx) =—-x -x +2620, 
h{x) =x ,+x -6 =0, 
对 应 的 Lagrange 丙 数 为 
ZTE = x -x wr -1) -wu,(26 -zx 一) 一 
px + x 一 看 ) ,uw 0,i 2 0, 
在 例 13. 2 中 ,我 们 根据 推论 13. 1 证 明了 = (1,5)" 为 (PP) 问 题 的 最 优 
解 活 = (0,)",5 = 了 为 对 偶 问 题 (DP) 的 最 优 解 ,并 且 二 者 的 目标 函数 


值 相 等 . 因此 ,根据 定理 13.2 的 充分 条 件 可 以 判定 , (x, 吾 ,相应 为 L(xX,#， 
o) 的 鞍点 . 

事实 上 我 们 可 以 根据 鞍点 的 定义 直接 验证 , (xX,#,5) 是 下 工 , 王 :2) 的 
鞍点 因为 


a (13 - 6) 
1 
而 Lx,R,S) = 对 一; 一 言 (26 -如 一 各 ) -Tw + #6), 


st 1 


2 
axr， 4 4 
及 因为 
3 15_ 1 
as 442 4 
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11 


0 
解 得 驻 点 x， ae ， 
性 二 

故 王 =(1;5) 为 L(x, 豆 ,5) 的 极 小 点 , 即 

LX,W,D) < L(xX,E,D). {13 -了 ) 
综合 t13 -6):(13 -7) 可 得 

Li Hw) = L{X,WH,V) SE L(xX,H,V), 

所 雇主 , 基 ,D) 为 LCX,#,9) 的 鞍点 . 

定理 13. 2 及 其 推论 和 定理 13.3 从 理论 上 指示 了 鞍点 ,K -了 点 和 最 
优点 三 者 之 间 的 关系 . 即 Lagrange 锁 数 的 鞍点 和 原 问 题 (PP) 的 K-T 点 
之 间 具 有 等 价 关系 ; 原 癌 题 (PP) 连同 其 对 偶 问 题 ‘(DP) 的 最 优点 与 La- 
grange 卫 数 的 鞍点 具有 等 价 关 系 . 酝 此 据 定理 13.2, 可 直接 判定 K-T 点 
为 鞍点 ,但 若 据 定理 13.3 不 能 单独 由 (PP) 的 最 优点 或 (DP) 的 最 优点 判 
定 Lagrange 函数 的 鞍点 的 存在 . 

下 面 的 定理 表明 ,车 在 原 问 题 (PP) 中 ,对 目标 镍 数 六 x) 和 和 约束 函数 
-84x) ,AT) 增 加 凸 性 的 假设 , 则 可 以 得 到 一 个 由 最 优点 直接 判定 鞍点 
存在 的 充分 条 件 . 

定理 13.4 设 

C1) x) -gCX)(E=1,2,…, 克 ) 均 为 定义 在 至 CR 上 的 实证 函 
数 ,h(x)(i=1,2,…, 中 是 芋 CR 上 的 线性 函数 ; 

(2) g(x (i=1,2,…,m) 满 足 Slater 约束 品格 , 即 存 在 x ,使 8,(x") 
>O0Ci=1,2,. ,mm); 

(3) 原 问 题 (PP) 存在 最 优 解 , 则 必 存 在 六 >0,D 使 (下 ,机 ,5) 是 
Ltr, 的 鞍点 . 

这 个 定理 可 以 作为 一 个 练习 ,建议 读者 给 予 证 明 . (提示: 利用 K-T 
条 性 和 Farkas 引 理 ) 


13.3 扩展 的 对 偶 定 理 


本 节 将 引入 强 对 侦 定 理 进 一 步 揭示 原 问 题 (PP) 和 对 倘 问 题 4《DE) 二 
者 存在 最 优 解 之 间 的 美 系 . 在 一 些 加 强 条 件 ( 如 西 性 条 件 , 可 微 条 件 等 ) 
下 ,还 可 以 扩展 妮 对 偶 定 理 , 对 倘 定 理 以 及 强 对 偶 定 理 ， 

定理 13. 5{ 强 对 个 定理 ) 设 (1) 产 zx) ,g(xX)(i=1,2,…,m) 均 为 
定义 在 至 CR" 上 的 实 值 汪 数 ,h(x)(i=1,2,…, 站 是 隋 CR 上 的 线性 
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前 数 ; 

《2) g(t) (i=1,2,.…,m) 满 足 Slater 条 忻 ; 

(3) 若 (PP) 存 在 最 优 和 解 *， 

则 对 起 癌 题 亦 存在 最 优 解 (ww,v) ,并 且 A(X) = pl 如)， 

证 在 息 设 条 忻 下 ,由 定理 13.4 可 知 , 存 在 #3>0, 使 (x,W,V) 是 
Erawyz) 的 鞍点 ,又 由 定理 13.3 可 知 (, 如 是 对 提问 题 (PP) 的 最 居 解 ， 
并 有 目 信 XE) = wp(H,). 

下 面 我 们 考虑 原 问 题 《PP) 与 男 一 种 对 偶 问 题 (DP1). 不 失 一 般 性 ， 
我 们 假定 只 考 虚 不 等 式 约 束 , 原 问题 (PP) 为 


min Ax), 


st, EXF) ED = 1,2,.…,m), 


二 
对 偶 问 题 (DP) 为 
max wlnu), 
s.t 政之 0， 
其 中 p(a) = minL(x,u), 


= min|f(x) - Dwg (Cx). 


如 果 我 们 对 玉 x) ,g(x*) 添 加 上 凸 性 和 可 微 条 件 , 即 殷 设 f(x), -g(x*) 
{i=1,2,…,m) 为 CR" 土 具 有 一 阶 连 续 偏 导数 的 凸 函数 , 则 对 偶 问 题 


变 为 如 下 的 非 线性 规划 : 
《DP1 》 max L(x,n), 
st, L(x,u)} =0, 
HD 
亦 即 max {f(x) — wu g(x)|, 
st. f(r) -ug(x) =0, 
un =D. 


读者 不 难 验证 ,对 于 原 问 题 (PP) 和 对 偶 问 题 (DP1) 相 应 的 弱 对 偶 定 
理 及 其 推论 (定理 13. 1 ,推论 13. 1) ,对 偶 定理 (定理 13.3), 强 对 偶 定 理 
(定理 13.5) 均 成 立 - 现 分 别 叙 述 于 下 : 
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定理 13.6( 弱 对 偶 定 理 ) 设 fx), -g(xX)(i=1,2,…,m) 均 为 
五 CR" 上 具有 一 阶 连续 偏 分 数 的 凸 函 数 , 则 对 于 原 问 题 {PP) 的 可 行 解 斑 ， 
及 对 偶 问 题 LDP1) 的 可 行 解 互 , 均 有 
f(x) = L(T,R). 

| 推论 13.3 设 AX) ,一 g(xX)(i=1,2,…, 摧 ) 均 为 天 CR 上 具有 一 
阶 连 继 彤 导数 的 凸 函 数 . 若 玉 和 (¥,#) 分 别 为 原 问题 (PP) 及 对 侦 问 题 
(DP1) 的 可 行 解 , 且 OX) = 工 (元 ,下 ) , 则 计 和 ( 环 , 环 ) 分 别 为 (PP) 和 (DP1) 
的 最 优 解 . 

定理 13. 7{ 对 侦 定 理 ) 设 f(x), -g(x)(i=1,2,…,m) 均 为 蒜 C 
R" 上 具有 一 阶 连 续 偏 导数 的 上 同 了 两 数 ,(X,) 为 Lagrange 冰 数 L(x ,4) 的 
鞍点 的 充分 必要 条 件 为 

(1) 到 是 (PP) 问 题 的 最 优 解 ; 

(2) (¥ ,是 (DP1) 问 题 的 最 优 解 ; 

(3) f(x) = L(x,0) 

定理 13,8( 强 对 偶 定理 ) 设 /(x), -g(x)(i=1,2,…,m) 均 为 下 
CR" 上 具有 一 阶 连续 偏 导 数 的 凸 函数 . 且 g,(x) (i=1,2,…,m) 满 足 
Slater 条 件 , 车 {PP} 存在 最 优 解 , 则 对 偶 问 题 (DP1) 亦 存在 最 忧 解 (*， 
去 ) ,有 f(x) =L(¥,0). 
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可 行 方 向 法 要 求 每 次 先 代 都 要 选择 一 个 下 降 可 行 方 向 及 相应 的 迭代 
步 长 ,由 十 下 降 可 行 方 向 有 不 同 的 选择 ,因而 对 应 了 不 同 的 可 行 方向 法 . 
本 章 将 介绍 三 种 可 行 方向 法 , 即 是 : 

(1) Zoutendijk 可 行 方向 法 :通过 线性 规划 来 确定 下 降 可 行 方 向 ; 

(2) 投影 梯度 法 :把 迁居 点 处 的 目标 函数 的 贷 梯 度 向 起 作用 约束 超 
平 而 的 交集 上 投影 ,以 确定 下 降 可 行 方向 ; 

(3) 简约 梯度 法 :通过 线性 等 式 约 东 把 目标 函数 变换 到 低 维 空间 ,来 
确定 下 降 可 行 方向 ， 


14.1 可 行 方向 法 


我 们 先 给 出 可 行 方向 的 定 六 及 儿 个 相关 的 结论 . 
定义 14.1 设 是 约束 问题 
min Ax},xER', 
sit. E(xX)0,i=1,2,…,m, 【14 一 1 
h(x) = Di = 1 2 
的 可 行 点 ,可行 域 为 五 = 1zlgifz) RDE=1,2 mp =0,i=1,2, 
i 若 对 dz0,d ER' ,存在 5>0, 使 当 a SE(0,6] 时 ,有 XX+ad 二 D, 
则 称 世 为 处 的 一 个 可 行 方向 . 


图 14-1 图 i4-2 


显然 ,车 五 为 DD 的 内 点 , 则 过 该 点 的 任意 方向 都 是 可 行 方向 ,如 图 
14 -1, 且 约束 g(x) >0, 由 定义 12.9 知 ,此 类 约束 是 不 起 作用 的 约束 ; 
车 五 为 了 的 边界 点 ,如 在 了 的 边界 而 g(x) =0 上 , 则 尾 何 与 ¥ g(x*》 
夹 角 小 于 90° 的 方向 都 是 该 点 处 的 可 行 方向 ,如 图 14 -2. 而 且 点 了 处 于 
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这 个 约束 形成 的 可 行 域 的 边界 上 ,x 的 微小 变动 都 可 能 引起 约束 的 破坏 ， 
这 一 约束 起 到 了 限制 性 的 作用 , 称 这 种 约束 为 x 幅 的 起 作用 的 约束 . 
同 第 12 章 中 ,我 们 仍 用 I(x) 表示 在 可 行 点 鞠 处 起 作用 的 约束 的 指 
标 集 合 , 即 
HE = i| g(xF) 二 0 = 1,2,.…,m|. 
例 14.1 考虑 由 约束 
EI(X)Y = 1 x 一 x 莹 站 ， 
EC) = x - 22 之 全， 
gatE) 三 | 学 0, 
Sr = x 六 0 


所 确定 的 可 行 域 ( 如 图 14 -3) ,并 讨论 点 ,8 处 的 起 作用 约束 . 


图 14-3 


解 通过 求解 得 4 .8 点 的 坐标 为 z= (1,0) ,ro=| 容 与 | ， 

将 x = (1,0)? 代入 约束 得 gj (x) =0,gs(x4) =0, 所 以 (x) 0， 
g,(x) 0 是 关于 点 4 的 起 作用 的 约束 . 即 (x,) = 11,41. 同 理 可 得 8 点 
的 情形 . 

下 面 给 出 可 行 方向 的 几 个 相关 结论 . 

考虑 约束 极 小 问题 

min Fx),xER", 
Ba.t. gx) 0 = 1,2, ,mm, (i14 -2) 

定理 14.1 车 如 为 点 三 E 了 处 的 可 行 方向 , 则 有 

d' Vg(F) 2 0, EI(r). 


证 因为 为 点 ED 处 的 可 行 方 向 ,所 以 存在 5>0, 使 当 a E 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


第 14 理 ”可行 方向 法 263 


(0,5] 时 ,有 

r+oadteD, 
即 

如 【无 + CC) 07=1,2,.…,m, 
而 对 于 EX), 仍 有 
g(x + nd) 之 站 ， 

上 且 有 

gi(X) = 0， 
所 以 ， 


0 < glF + od} =d Ve(lr+aoad) 


=d Vv g(x),i EE I(X). 
定理 4.2 著 了 满足 
d Ve (lx) > 人 0 后 下 元) ， 
山下 必 汶 点 于 E 吾 处 的 可 行 方 向 ， 
证 ”因为 
B(x)} = 0,7E T(z), 
当 61 >0 充分 小 时 ,对 任意 a (50,5,] ,由 Taylor 展 式 得 


gi + ad} =g{(xX) + ad Vege(x) +o(o) 


= WY 8, (xK) + ola) 
=al a WV g(x) + |]> 0,iE I(x), 
i 


其 中 ,ote) 为 比 a 高 阶 的 无 穷 小 量 . 

当主 性 XF) 时 ,因为 g(xX) >0, 由 g(x) 的 连续 性 可 知 , 当 5,>0 充 
分 小 时 ,对 任意 (0,5,] 
亦 有 gE + ood) > 昌江 大 民工 ) ， 
若 取 656= minfgl ,56,) >0, 则 对 任意 w E (0,6] 必 有 

gt + od) 0 = 1,2,,m, 

从 而 评 +ad 七 也 , 即 8 为 点 EDD 录 的 可 和 古方 向 . 

已 知 可 行 点 七 品 , 若 它 是 极 小 点, 则 停止 ;着 它 不 是 极 小 点 , 则 需要 
在 该 点 寻找 能 使 目标 函数 六 x) 值 下 降 的 可 行 方向 ,这 样 的 方向 才 是 我 们 
感 兴趣 的 方向 ,那么 满足 什么 样 的 条 件 才 能 是 下 降 方 向 呢 ? 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


264 下 和 苞 ”的 束 最 惰性 方法 


定 14,2( 下 降 方 向 ) 若 存 在 向 其 4 满足 
Ad VfHry 文章， 
则 称 方 网 和 为 矿 z) 在 点 无 反哺 处 的 下 中 方向 . 
显然 , 若 如 为 六 xX) 在 点 下 全 卫 处 的 下 降 方 向 , 则 必 存 在 5>0, 使 当 
ox 全 (0.8] 时 ,有 
城下 + 加) < f(x). 
总 之 ,在 点 互生 总 处 的 可 行 下 降 方 向 应 满足 
d Vege(lr) 0,E I(r), 
I V AX)Y < 0. 


14.1.1 线性 约束 的 情形 
设 间 题 为 


min AXxX),x 人 ER" 
st. ax-b =0,7=1,2,..,1, (14 -3) 
ax-b0,i=1,2,..…,m, 
定理 14.3 设 下 是 约束 问题 (14 -47) 的 可 行 点 , 则 和 为 于 处 的 可 行 
方向 的 充分 必要 条 忻 基 : 
ad=0,i=1,2,.…,1, 
ad >0,iE (x), (14 -4) 
这 里 反动 是 三 处 的 起 作用 约束 指标 集 . 
证 “必要 性 ” 设 京 是 可 行 点 , 弛 是 未 处 的 可 行 方向 , 则 存在 8>0， 
使 当 a EC0,8] 时 ,有 下 +ad E 五 , 即 满足 
GT 二 + ad) 一 =0, i=1,2,.,t, 


al(F+oad)-b 0, i=1,2,..…,m. (14 -5) 
因为 XED, 当 i E11,2,… ,li UI(T) 时 ,有 a 守 -5,=0, 因 此 (14 -4) 式 
成 立 . 

“ 完 分 性 ”. 设 是 可 行 点 ,4 满足 (14 -4) 式 ,对 Yea, 当 i=1,2,…， 

f  ， 

(更 + GE) -bb =ax-b +oad=0. {14 - 6) 
对 Ya 之 0, 当 i 会 天 于) 时 

a (T+od) -bb = ar-b,+oad>0, (14 -7) 
当 iEll,2,… ,mj M(x) 时 ,由 于 只 有 当 aid <0 时 ,约束 

al(F +oad) -bb =ax-b +oarad>0 (14 — 8) 
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才 有 可 能 屠 到 破坏 ,因此 只 需 取 
a — ,| T ' 
下 = min| - 5 | < 0,ig iD 


当 EC0,68] 时 ,(14 -8) 式 亦 成 立 ， 

定义 14.3{ 可 行 下 降 方 向 ) 设 xX 是 约束 问题 (14 -3) 的 可 行 点 ,着 
d 既是 该 点 处 的 可 行 方 向 ,又 是 下 降 方 向 , 则 称 4 是 处 的 可 行 下 降 
方向 . 

前 面 已 知 ,车 4d 满足 V FE) dE<0, 则 了 是 坏处 的 下 降 方向 . 又 由 定 
理 14.3, 若 要 如 是 处 的 可 行 下 降 方向 , 则 必须 满足 : 


aid = 0,r = 2 《14 -9) 
ard > 0,iE Ix), (14 -10) 
VAXEY'd <0. (14 -11) 


因此 ,我 们 的 目标 是 寻找 满足 (14 -9) 一 (14 -11) 式 的 4, 得 到 下 降 
可 行 方向 . 为 此 ,从 束 出 发 , 洛 方向 如 前 进 , 得 到 一 个 新 的 可 行 点 衬 , 而 在 诗 
满足 
Fx) < fF), 

亦 即 ,在 满足 (14 -9) 式 和 (14 -10) 式 的 前 提 下 , Y A(X)"d 越 小 越 好 ,这 
就 引出 一 个 线性 规划 问题 

min vind, 

st, ad=0,i=1,2,.,l, {14 - 12) 

ad >0,iEe lr), 
则 线性 规划 (14 - 12) 的 最 优 解 即 定 我 们 所 求 . 但 当 a + wm 时 , 若 有 
VAEY "Td -au , 则 求解 困难 . 为 解决 这 一 问题 ,就 必须 对 4 或 目标 函数 
YAz)yre 加 某 些 限制 ( 称 这 些 限制 为 规范 约束 (Normalization Con- 
strainty ) ,根据 规范 约束 的 不 同 ,可 以 得 到 不 同 的 规划 问题 ,在 这 里 给 出 


三 种 规划 问题 : 

问题 I 
min VAx}'d, 
st ad = 0,7= 1,2,,l, 

(14 — 1) 

ad 0,iE (x), 
-led 人 eel,i= 1,2,.,n. 

问题 I 


min YAr)'d, 
st. qd =0,i=1,2,.",l, 
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dad>0,ie (FY, 


dd<l. 0 
问题 耳 
min VAXx)'d, 
st ard- 0-=1,2,.,1, 
(14 -15) 


ad 0,iE IRF), 
VHT)'d=-1. 
在 上 述 三 个 规划 问题 中 ,问题 I 和 问题 下 是 线性 规划 问题 ,因此 可 用 
求解 线性 规划 问题 的 算法 求解 ,问题 下 昌 然 是 一 个 非 线 性 规划 问题 ,但 共 
有 特殊 的 形式 ,因此 也 可 用 特殊 的 方法 求解 . 
定理 14.4 设 * 是 约束 问题 (14 -3) 的 可 行 点 , 则 五 成 为 其 K-T 点 
的 充分 必要 条 忻 是 ;问题 1、 或 五 的 最 优 自 标 函 数值 为 0. 
证 以 问题 1 为 例 ,其 他 两 个 同 理 . 
充分 性 ” 设 问 题 工 的 最 优 目标 熙 数值 为 0, 则 对 满足 该 问题 约 东 条 
件 的 如 , 均 有 WAXF) Td 宇 0, 即 
ad =0,7 = 1,2,..,1l, 
dd 之 0,ice ir), 
一 台大 去 > 
无 解 . 由 Farkas 引 理 ,存在 wti E 开 辣 0uut=1 2 人 ,使 得 


i i=l 
uO (ETIr)). {14 - 16} 


令 尺 =0 (i Ef1,2,…,mj MI(F)), 则 有 


m 


Vv AF) 之 %4， 一 之 "4 = 0 ， 
ED 
ul aix — b,] > 0,i 三 1 2 
县 芋 是 玉 -- 了 点 . 
必要 性 设计 是 民 -T 点 , 则 有 
VV f(rY = pe + via 
车 问题 I 的 目标 函数 值 小 于 0, 则 有 


1 
0 > VAD™A= PD vad + 2 到 十 uad 
不 志 1E 下 证) YE |] ,这 | 1 
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= 3 waid > 0, (14 -17) 


4 全 上 三) 


矛盾 . 因此 问题 工 的 最 优 目标 函数 值 为 0. 

由 定理 14.4 可 知 , 若 问题 1 、 工 或 五 的 最 优 目 标 函 数值 为 0, 则 三 蚌 
K-T 了 点 ,停止 计算 ;车 最 优 目标 函数 值 小 于 0, 则 4 是 处 的 可 行 下 降 方 
向 ,那么 沿 4 方向 进行 一 维 搜索 , 便 得 到 下 一 ns 并 且 有 f(x*) < 
A(X) ,如 此 下 去 直到 找到 最 优点 . 

一 维 搜索 问题 

在 可 行 方向 法 中 的 一 维 搜索 与 无 约束 问题 中 的 一 维 搜索 是 有 区 别 
的 , 此 时 的 一 维 搜索 除 使 目标 函数 值 下 降 外 ,还 要 保证 其 点 在 可 行 域 内 ， 
即 在 一 个 区 间 上 求 一 维 极 小 . 下 面 给 出 搜索 区 间 的 具体 讨论 . 

设 x 是 约束 问题 {14 -3) 的 可 行 点 ,4 是 x "处 的 可 行 下 降 方 


向 , 令 
=x + od, (14 -18) 
考虑 约束 条 件 ,注意 4 是 问题 1、 了 或 囊 的 解 ,因此 有 
GT b= ax -b+aad™ =0,=1,2,",l,Ya>0, 
ax -b= a xr" -b+ aard OiE Ix ,Vaz0, 
(14 - 19) 


因此 ,可 能 被 破坏 的 约束 是 x*” 处 不 起 作用 的 约 东 
ax-b = ar -b+oaad" >0,ie TO (C14 — 20) 


其 中 4 中 浇 中 ard" <0 的 那些 约束 . 为 保证 可 行 性 ,一 维 搜索 步 长 应 


满足 
Tk 
过 min| - 人 b, 6 <0,ie rx), 
习 , 
因此 取 
Tt 
toa = min| — 汪 ad <Oie x) {14 — 21) 
a 
若 集 合 1ar&t9 <0,i 是 Tx)|l= 疙 , 则 令 


人 (14 - 22) 


一 维 按 索 问题 为 | 
3 = Lk) A) ， 
min 中 (ay = f(x +og ) 人 
a 站 之 站 到 Ca- 

算法 14.1( Zoutendijk 可 行 方向 法 ) 

中 取 初 始 可 行 点 xz , 即 关 "满足 
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qx 玉芝 0 1 =1,2 下 ， 

置 下 =1; 

@@ 确定 * ”处 起 作用 约束 指标 集 

(x = iar -8 =0,i= 1 2, ,1}, 

车 Tx) = 名 , 则 -人 fr) 二 qd , 转 图 ;否则 转 国 ， 

加 求解 线性 规划 子 问 题 

min Vflx™) 要， 
s. 十。 a'd =0,7=1,2,..,1, 
ad>0,iE lr), 


-1 d, 1, i = 1 2, 


得 到 a 
@ 车 VAxr "4d =0, 则 停止 计算 ,* 轨 为 K-T 点 ;否则 求解 一 维 
问题 
min 中 (oa) = f(x + oad'™) 
8.4. Oa 人 esa,,; 
其 中 


. ox -bhb 
_ [En qd < 六 下 rz"), 


+ mm, lad®™ < OiRI(X | = , 
得 到 ao, 置 2 =x 十 人 0. 
全 置 上 上 =k+1, 转 人 0. 
在 实际 计算 中 ,算法 第 (4) 步 FV f(x Yd =0 可 改 为 
|1YAr") "dm | se, 其 中 = 是 预先 指定 的 精度 . 
例 14.2 用 Zoutendijk 法 求解 
min (4 —- x,) (x, - 3)’, 
一 和 一 x 一 3， 
一 | 实 一 2， 
B. t. 一 %a 学 一 2， 
41 宇 0， 
YX 六 站. 
解 ”目标 函数 的 梯度 VAx)=[2(4-x)(x -3),~ (x, -3) ]， 
令 和 初始 可 行 点 x =(0.2,1.8)", 
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第 一 次 选 代 : 
(2) 确定 指标 集 Kxz ” ) = 名 ,x 为 可 行 域 的 内 点 , 故 
dd = 一 Fr) = (12.32,7.84)", 
(4) Ax | = | 一 012.327 +7,84*) | >s, 则 需求 解 


min 中 fa = f(x + aod), 
st DG 让 


1 1.8 0.2 
其 中 ,ow = min 5 16'12. 32°7. 可 | 


min ia) =f(x™" + ar 如 fo 
=[4-(1.8+7.8)a][f0.2+12.32a) -3]， 


所 以 ， 
st DOEa oe 
-5 
解 之 ,得 0 = 
所 以 ， x =x + od = {0.512,2).. 


(2) 确定 指标 集 T(x )=|3i),V fx)=( -9.95, -6 18) ， 
3) 求解 线性 规划 子 问 题 
min — 9.95d, 6.18d,, 


-dd>0 


其 最 优 解 为 4d = (1.0) 
(4) | VA md | = | -9.951 >s, 则 需求 解 
min 中 (ay = f(x + ad) = (4 -2)(0.512+o -3), 


st. dorea 


其 中 ， Qo = min 10. 488 ,1.488| =0. 488, 
解 之 ,得 a, =0. 488, 

所 以 ， x = 了 0 +od = (1,2).. 

第 三 次 选 代 : 


(2) 确定 指标 集 1(x3)=11,31 ,YAz )=(-8,-4). 
(3) 求解 线性 规划 子 问 题 
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min — 8d, — dd,,， 


其 最 优 解 为 4” = (1, -1) 
(4) | Yrx ad | = | -4| >z, 则 需求 解 
min 由 (oa) = f(x +oad) = (2+a)(a -2)’, 


St Oa on 


其 中 ， a =min{l,2| =1, 
解 之 ,得 aa =1, 

所 以 ， x = + od = (2,1)". 
第 四 次 选 代 : 


(2) 确定 指标 集 Kxze =1121,YAxr )=(-6,-1) 
(3) 求解 线性 规划 子 问题 
min ~ bd, - d,, 


其 最 优 解 为 4” = (0,0)". 
(4) | Ar Ta | =0, 所 以 ,xz9 =x +od ”= {2,1) 有 妈 为 
K-T 点 ， 


14.1.2 非 线性 的 束 的 情形 
问题 


min flx},x ER", . 
Bt g(xF) 0 = 1,2,.,.m, 【14 -24) 
其 中 ,f(z) ,g(x) ,i=1,2,…,m 是 具有 一 阶 连续 偏 导数 的 实 值 枉 数 . 
车 约 东 为 等 式 , 则 只 需 经 过 变形 可 变 成 两 个 等 式 约 东 ,故此 处 只 讨论 
不 等 式 约 东 情形 ， 
设 经 第 上 次 迁 代 已 得 到 可 行 点 x ,由 前 面 的 讨论 ,在 +” 处 当 d 满 
是 如 下 不 等 式 组 时 为 下 跨 可 行 方 向 , 妈 
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人 VECzO) >0,iE T(r), 


(14 - 25) 
本立 所) <0, 
而 不 等 式 组 (14 -25) 等 价 于 存在 数 了 ,使 得 
_ a Ve {xr'n) 之 好 ,ii 三 FTCzt0 1 ， 
| Vr) Eo, (14 - 26) 
rT <0. 


为 了 寻求 在 x“ 外 的 下 隆 可 行 方向 ,只 需求 出 满足 (14 -26) 的 方向 
与 数 q. 而 对 坟 向 4, 其 本 质 是 要 求 指 出 方向 ,而 不 要 求 大 小 ,所 以 我 们 
限定 

1@| 1,7=1,2, ,nd = (dd,,…,d,),", 
容易 想到 |d | 所 1, j=1,2,-…,n, 目 使 人 YA) 和 -下 Vg (x)，, 
i E Ix”) 的 最 大 值 o 取 极 小 ,从 而 形成 如 下 形式 的 线性 规划 问题 . 
mn gg， 
gst. 一 和) ET 
机 Vf(xr eo, 
Id| 1,7=1,2,.…,n. 


(14 -27) 


d'* 
利用 单纯 形 法 求解 , 设 其 最 优 解 为 | | 及 最 优 人 os 


而 (14 - 27) 所 表示 的 线性 规划 问题 的 解 ,可 能 是 下 列 两 种 情形 
之 一 ; 

(1) 若 gq, =0, 可 以 证 明 不 存在 方向 4 使 4 VV g(x )>0,iE 
Tx ), 昌 dfx HD) <0. 此 时 ,如 g(x) ,i 全 x" ) 线 性 无 关 ， 
则 x 是 K-T 点 ,过 代 停 止 ; 

(2) 若 e, 关 0, 由 于 了 =0.c =0 总 是 它 的 一 个 可 行 解 , 故 在 最 优 和 解 
[> 


人 


| 外 ,so0, 对 wu-0 (1) 中 已 讨论 过 ;对 es <0 有 


ia0 Vflx) sar «<0, 
(i V g(r) -a >0,iElIx™), 
故 4d， 为 下 降 可 行 方向 . 
为 了 确定 新 的 连 代 点 x" ,从 x 中 出 发 沿 下 降 可 行 方 向 4” 作 受 约 
束 的 直线 搜索 ,但 是 ,在 这 里 步 长 因 于 a 的 上 界 as. 已 不 像 线 人 性 约束 情形 
具有 显示 的 计算 公式 ,而 是 根据 新 迭代 点 的 可 行 性 由 直线 搜索 来 确定 , 即 
求解 
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min Fr + adi) = f(x + aod), 
rE 


A= [fala 0, x +od" EDI. 

设 其 最 优 解 为 ms ,从 而 得 出 新 的 选 代 点 =x 人 +d 中 ， 
再 重复 土 而 的 讨论 ,进行 下 一 次 选民 . 

选 代 终止 条 件 是 

(1) 若 预 先 给 定 ex 的 允许 误差 se: >0, 由 上 而 讨论 的 第 一 种 情况 
知 , 当 | | 大 e: 时 ,停止 选 代 ; 

(2) 若 预先 给 定 目标 函数 的 允许 误 盖 a, >0, 则 当 

Iv ix ) ls a 

时 ,停止 选 代 . 

最 后 还 需 指 出 ,车 x) = 所 , 则 -YA ) 一 dg , 即 取 最 速 下 降 
方向 作为 下 降 可 行 方向 . 

归纳 以 上 的 讨论 ,可 得 出 一 般 约束 问题 的 可 行 方向 算法 

算法 14.2(Zoutendijk 算法 ) 

中 选 定 初始 可 行 点 x ,给 定 目标 函数 介 许 误差 限 a, >0 及 oa; 的 多 
许 误 差 ;>0,0 一 上 ; 

名 确定 指标 集 

Tx ) = | 有 CD) =0,1aiem|; 

图 检验 条 件 1x") = 名 ,车 满 足 , 且 上 VACx |<s ,停止 选 代 , 则 
x 为 极 小 点 ,车 上 YAx >a, 则 令 - 玉 f(x 一 ad ,转生 ;车 
Fr) 天 仿 , 则 转 国 ; 

地 求解 线性 规划 问题 

mn fT， 
d vf eo, 
-本 有 中 CE eo,ie ix), 
[了 | 1, = 1,2,.…,n, 


得 到 dg,; 
全 ) 检验 终止 准则 
| Ts | 所 如 2 ， 
若 满 足 , 则 选 代 终止 ,fr… 为 极 小 点 ,否则 , 转 加 ; 
@ 求解 一 维 问 题 
min = f(x +ad'™), 


其 中 a= ala0,x" +ad" ED!, 
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解 之 ,得 ai 

全 置 xX +1 转 的 

计算 实践 和 理论 分 析 表 明 算 法 14.2 可 能 会 导致 失效 或 出 现 拉锯 现 
象 ” ,致使 可 行 方向 法 收 伍 很 慢 乃 至 不 收 伍 到 最 优点 或 久 -T 点 .因此 研 
究 如 何 有 效 的 防止 拉锯 现象 ”的 出 现 便 成 为 十 分 必要 的 . 

算法 在 形成 找 可 行 方 向 的 问题 时 ,对 于 线性 和 非 线 性 不 等 式 约束 两 
者 都 仅仅 只 考虑 了 x 处 起 作用 的 约束 ,这 时 求 出 来 的 可 行 方向 有 可 能 
很 快 就 磁 上 靠近 x" 的 某 个 约束 边界 . 如 g(x) =0, 由 于 这 边界 很 车 近 
xr , 当 妈 0 取得 不 怡 当时 , 沿 4 进行 一 维 搜索 只 可 能 移动 一 个 很 小 的 
步 长 , 香 则 就 会 使 选 代 点 跑 出 边 恰 . 为 了 防止 这 些 现 但 的 出 现 ,来 用 #- 
起 作用 可 行 方向 法 ,这 种 方法 在 形成 找 可 行 方向 问题 时 不 仅 把 通过 当前 
点 x 中 的 那些 约束 边界 看 作 是 起 作用 的 约束 ,而 且 把 充分 靠近 x” 的 那 
些 约束 也 看 作 是 起 作用 约束 , 即 把 满足 0 三 g,(x””) 所 6 的 约束 也 考 虚 在 
内 ,这样 的 约束 称 为 -起 作用 约束 ,而 对 应 的 可 行 方向 法 称 为 -起 作 
用 约束 可 行 方向 法 

算法 14.3{s 一 起 作用 约束 可 行 方向 法 ) 

全 选 定 初始 可 行 点 x .给 定 so >0 及 上 >0,0 一 下 

使 确定 a, 起 作用 约束 指标 集 

Hx ,ey) = 0 过 有 (2 ) eel ism|, 

计算 Y f(x ); 

图 检验 条 件 /x 中 ,a1) = 邱 , 若 满足 , 且 |Y Ar )| 委 e, 停 上 选 代 ， 
则 xe 为 近似 极 小 点 , 若 |Y Ar )|‖>e, 则 令 - Vr) dd ,0o,= 
-1 转 合 ;车 [(x 中 ,sy) 关 纪 , 则 转轴 ; 

地 求解 线性 规划 问题 

mn 三 ， 
d VHAx) so, 
_d Val ) nr,ice Tx ,es,), 
[| 委 1 

当 s -起 作用 约束 为 线性 约束 时 , 取 ,=0; 当 z ~ 起 作用 约束 为 非 线性 
约束 时 , 取 疙 ,=1, 解 之 得 到 4 ,os 

加 检验 终止 准则 , 若 og: =0, 且 s; <&, 则 x 人 为 近 亿 极 小 点 , 选 代 终 


让 ;否则 4 晤 下 >e, 则 了 =e 转 仿 ; 
国 以 do 为 方向 进行 一 维 搜索 . 先 对 了 与 T(x ,24), 求 >0, 使 
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gx t+) =0( 车 1 >0 不止 一 个 , 则 取 最 小 的 一 个 ) 即 
Geass = min ti g(x thd ) = 0 > 0 RE IC ,ee,) 


同时 求解 


人 + od? ), 
Oa oa,,. 
解 之 ,得 oy; 置 x =x 十 二 全 人 ; 

个 车 | -有 <, 则 人 为 近似 最 优 解 , 选 代 终 止 . 


S|， 
So | £+1 二 上, 转 人 @. 
> 一 条 1) 
例 14.3 用 -起 作用 约束 可 行 方向 法 求解 
min x) = (x -3)°(4 -x,), 
有 =4-x’ 一 2 + 2x| 汪 间 ， 
Bi(X) =5-xi-x 2 0, 
st g(x) =4 -x ~ Xi +2r 2 人 0, 
B4(*) = x| 0, 
Bs(*) = x 守 0. 
解 ”目标 晒 数 的 梯度 YY Ax) =[2(4 一 xi -3), 一 (x, 一 3)’]， 
令 初始 可 行 点 ze = [到 ,上 ,6 = 于 ,=0.000 1， 
第 一 次 壕 代 ; 
(2) 确定 指标 集 x" ,so6) = 他, 故 
wx = (-15, -6.25)"; 
(6) 沿 d ”= 一 Y A(x ) =(15,6.25)" 方向 进行 一 维 搜索 , 先 求 
t;,>0, 使 . 
Ex + ) =0,1=1,2,3, 


2 
由 g(r 二 他人) =4 -( 序 +156] (1+6.251 +2( 五 +156】 -0， 


2 
求 得 号 =0. 124 , 同 理 得 局 =0.077 97,t, =0.165 5， 
所 以 ， oo = minltists ty| =0.077 97, 
鱼 
fx +ad'") = [15e | (3 -6.250), 
St eaea,,,, 
解 之 ,得 ao =0.077 97 ， 
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所 以 ， x xr 二 =【1.67.1.487) ， 
第 二 次 选 代 
goer = 0. 25. 
(2) 确定 指标 集 KKz ,el) = |121 关 马 ， 
(4) 求解 线性 规划 问题 
mn og, 
st dd VpE(x YD) = -3.34d -2.974d, -og, 
本 xz) = -6.684 58d, -1.768 9d, < oo, 
ig|<1, 
[a | 兰 1 
解 得 2 = (0.473, -1)7o = -1.39 <0, 所 以 ,dd 为 所 求 可 行 方向 ; 
($5) 检验 终 目 准则 ,a= -1.39 «<0; 
《6) 以 d'" 为 方 岛 进行 一 维 搜索 
x + od = (1.67 +0.4730,1.487 - oa), 
oa = minlt [gx +td®) =0,.4 >0,7=1,3,5} = = 1.0464, 
让 人 Fx + od) = (0.47308 -1.33)°(2.513 + a), 
St Oa oh; 
解 之 ,得 ai =1.046 4, 
所 以 ， x =x +od =({2.164 9,0.441)", 
{7) el =0.25< -og =1.39, 所 以 , 令 el 一 si =0. 25， 
第 三 次 和 迭代; 
(2) 确定 指标 集 [xz … ,ez) =12;3| 天 信 ; 
(4) 求解 线性 规划 问题 
min 好 ， 
st = 一 4.33d -0.88d, -oo, 
dV gx ) = 一 4.33d +1.12d,¥-o, 
本 总) =-5.9d -0.7d <o, 
lals1, 
Id,| 专 1, 
解 得 at = (10.0) ,ea =0, 


(5) 检验 终止 准则 ,es > e, 所 以 ,于 =0. 125 一 e:, 转 (2) 


(2) 确定 指标 集 1(x'” ,sy) = 12,3} 关 名 ， 
(4) 求解 线性 规划 问题 
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min gg, 
st dd Vax ) = -4.33d -0.88d, -og 
和 TV =—4.33d +1.12d, -0o, 
了 了 Ar) = -5.0d -0.7d aa, 
ld | 到 1， 
|a| <1, 
解 得 d™ ={0,0)" ,0 =0, 


(5) 检验 终止 准则 ,> e, 所 以 , 尘 = 下 一 e, 转 (2); 


(2) 确定 指标 集 1(x”” ,sz) =f3| 关 倍 ， 
(4) 求解 线性 规划 问题 
mn 人: 
St， 有) = 一 4.334 +1.12d, -oo, 
双关 1) =-5.9d -0.7d, <o, 
|d| 志 1, 
| 到 | 关 1， 
解 得 d= (0.041,1)7,o = -0.924 <T0, 所 以,@2 为 所 求 可 行 方向 ; 
(5) 检验 终止 准则 ,za = -0.924 <0; 
(6) 以 对 ”为 方向 进行 一 维 搜索 
x + od =《2.1649 +0.0410,0.04] + ma)7， 
Qs = minlt [gx +id) = 0 >0,7=1,2} =1, = 0.103, 
故 min f(x + age) = (0.04le - 0.835 112(3. 559 - a), 
sti. OZat aa,; 
解 之 ,得 ox, =0. 103, 
所 以 ， KD x tad = {2.169.0.544)". 


(7) es = 二 < -=0.924, 所 以 , 令 忆 一 es = 下 (最 优 解 为 :gs(z) = 


0,g;(x) =0 之 交点 zx， -{ > 型 局 | 


若 继 续 选 代 下 去 ,可 看 出 点 列 |z… 上 | 是 逐步 逼近 x-” 的 ,但 收 敏 的 速 
度 是 很 慢 的 . 这 也 说 明 可 行 方向 法 对 于 非 钱 性 约束 较 多 的 间 题 的 实现 是 
有 困难 的 . 
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14.2 投影 梯度 法 


投影 梯度 法 的 基本 思想 是 ,将 负 梯 度 方 向 投影 到 可 行 方 向 上 去 . 
定义 14.4 车 nxn 阶 和 矩 阵 P 满足 
P=P&PrP: =P, (14 - 28) 
则 称 己 为 投影 矩阵 . 
定理 14.5 设 了 是 nxn 阶 矩阵 , 则 有 下 述 结论 : 
1) 若 P 是 投影 害 阵 , 则 了 了 为 半 正 定 矩 阵 ; 
(2) 下 是 投影 矩阵 的 充分 必要 条 件 是 : 江 - 呈 为 投影 撼 阵 ; 
(3) 设 王 是 投影 矩阵 , 令 旭 = 了 -下 , 记 
L= {PxlxER :和 LL = iOr|xrEeER’|, (14 -29) 
则 蕊 和 上 是正 交 的 线性 空间 ,和 且 任 一 点 x E R", 可 唯一 地 表示 成 P+ 旭 ， 
其 中 PEL,QEL!. 
定理 14.6 设 x 是 约束 问题 (14 -3) 的 可 行 点 , 且 记 xX) 允 有 连续 的 
一 阶 健 导数 , 若 了 是 板 影 答 阵 ,和 且 了 AX) 并 0, 则 


d=-PV/(r), (14 - 30) 
此 外 ,车 
N= (0a, 0, ,0,) (14 -31) 
为 列 满 秩 和 矩 阵 , 其 中 汪 记 1 和 ,2 中 UTX)(j=1,2,…,5), 令 了 具有 如 
下 形式 : 
P=I-N(N'N) 'N,, (14 -32) 
则 # 是 放 的 可 行 下 降 方 向 


证 因为 PV A(z)0, 则 有 
VAR Ad =- VA PY AT) 


=- VAX) PPY fr) (14 -33) 
=- |P vAx)H, 
因此 ,Jd 是 下 降 方 向 ， 
车 了 具有 (14 -32) 式 的 形式 , 则 有 
N'P = N -NNN'N)'N =0, (14 - 341 
因此 有 
are =—-alPvflr) =01= |1,2,.,l} U 天 )， 
(14 - 35) 


则 df 是 可 行 方向 ,因此 是 可 行 下 降 方 向 . 
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由 定理 14.6 可 知 ,在 PY AX)0 的 条 人 忻 下 ,可 以 得 到 x 好 的 可 行 
下 降 方向 ,进而 醒 可 得 到 下 一 个 可 行 点 . 当 了 下 f(x) =0 时 ,以 下 定理 说 
明之 . 
定理 14.7 设 是 约束 问题 (14 一 3) 的 可 行 点 , 且 作 x) 有 连续 的 一 
: 阶 偏 导数 ,若是 由 (14 -31) 式 和 (14 - 321 式 确定 的 矩阵 ,并 满足 
PVA =0, (14 - 36) 
记 
A= (NN) 'N VAX), {14 - 37) 
若 A>0,i E I(F), 则 是 K-T 点 .车 存在 qg E 开 F) ,使 得 A, <0, 并 记 以 
为 矩阵 中 中 去 掉 A, 对 应 的 列 后 得 到 的 矩阵 ,并 令 己 =T-NONNW) NT， 
d= -PV /f(x), 则 d 是 二 处 的 可 行 下 降 方 向 . 
证 由 (14 一 32) 式 .(14 -36) 式 和 (14 -37) 式 ,有 
0=PVfAr) =(T-N(NN) NY) Vf) 
= V AE) NINN) NT VAOE) (14 - 38) 
=V Ax) -NA, 
即 
Vf(F) - Aa, = 0. (14 - 39) 


= 
若 ,0,1 EE I(x) , 刚 念 入 ， 0 用 I(x),(14 -39) 式 即 为 K-T 条 件 ， 
所 了 以 京 是 玉 -T 点 ， 
若 存 在 9 E 1(X) ,使得 A, <0, 证 明 d= -PPYFF) 是 可 行 下 降 
方向 . 
(1) 证 明 4z0,{ 反 证 法 ) 车 4=0, 则 由 PV f(x) =0, 必 存在 
p= (NN)'N' Vf(F), 


使 得 
V AF) - La = 0 (14 - 40) 
二 Ue 
用 (14 -39) 式 减 去 (14 -40) 式 ,得 到 
入 一 《入 ;一 ji) 0, = 0, (14 — 41) 


rE 12, UT 


由 于 A <0, 这 与 N 为 列 满 秩 矩 阵 矛 盾 . 
(2) 证 明 d 是 可 行 方向 :类 似 于 定理 (14 -29) 的 证 明 可 知 


ard = 0, i Ell,2, ,ll UI(X),i #9, (14 -42) 
并 由 (14 -39) 式 和 (14 -4 和 2) 式 ,有 
T 1 a 1 中 
本 =| 一 es 如 
a 二 V Ax) ee 
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= 元 Y f(x)'d 


-二 Vv AFP Y f(r) (14 - 43) 
1 


XlP YADP, 


所 以 了 是 三 处 的 可 行 方 向 , 由 定理 14.6 可 沼 ,dz0 是 下 峰 方 癌 ， 
由 定理 14.6.14.7 可 以 纵 出 投影 梯度 法 的 具体 算法 . (由 于 投影 梯度 
法 是 械 B, Rosen 提出 来 的 ,因此 也 称 为 Rosen 投影 梯 产 法 . ) 
算法 14. 4( Rosen 投影 梯度 法 ) 
@ 地 初始 可 行 点 二” , 即 + 满足 
GT -= 0 =1,2……,， 
要 一 下 实用 = 1,2,,m, 
置 上 =1; 
回 确定 x “处 的 起 作用 约束 指标 集 
Hx) = filalxr -6b = 0 =1,2,.,.ml, 
图 闭 1=0( 无 等 式 约束 ) 且 I(x”) = 儿 , 则 令 
a EE VACxr'™ ), 
否则 令 
N® = (0, asa) Ell,2,. ,ll U A(xr™ ), 
PY = 了 - NGNCD NE ) N'Y, 
ED = Pv /fxr ). 
国 若 40 -0( 一 般 为 :N41<e)， 
(a) 车 1=0, 且 TCx*) = 名, 则 停止 计算 ,x” 为 K-T 点 ;否则 计算 
A = (NO ND YN ¥ fir y, 
(b) A 0EE KxY ) , 则 停止 计算 ,x 为 K-T 点 ; 否 出 念 
A = minfA®™ |iE x), 


置 
mW =《w9 中 去 掉 4 对 应 的 列 ev ) ， 
PY -TT_-WN'™" (NN YN 
d'" = Pp 到 大工 全 )》， 
(4d 人 ) 求 解 一 维 问 题 
min gta) = flr'™ + aod"), 
St， Or fm; 
其 中 
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下 篇 ”约束 量 忧 化 方法 


Bb — Ax 
mn T i 
Le = ad 


十 的 


得 到 as, 咱 7 = 


ad' <0,ie rz | 


,ad™ 0 = , 


+ od'™, 
全 罩 上 = 上 +1, 转 国 . 
例 14.4 用 投影 梯度 法 求解 


= 二 2 
min wi +4%;，, 


3.t. 和 | 十 4 这 1,， 


15x，+ 10x, > 12， 
这 0， 


二 六 0. 
em 《1 0 《1 
解 (1) 取 初 始 可 行 点 x =|,|. 满足 


alx -=0D.i 


= 1 ,2 ,et, 
dx b>0,7=1,2,.,m, 
壮大 =1; 


(2) 确定 x'" 处 网 起 作用 约束 指标 集 
FTCzo) = 131， 
(3) [=0( 无 等 式 约 束 ) ,但 T(x'") 关 忆 , 则 令 


i 1 
~ -四 
PY = 了 - NODUNCD NG RN 
1 -1 
-A of) ea 
0 0 
ol EF 
dn =-PO YXrzo) 
0 01r0 
-[_ ij=。%， 


_16|*0. 所 以 ,求解 一 维 问题 
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min 中 (ay = f(x +oad )， 


St, On om.. 


其 中 
i 
rs = min{ 一 5， -160 | 20° 
即 min (4(2 — 16m)*), 


家 [ 8 十 


0 
| 
5 
第 二 次 迭代 ; 
(2) 确定 x “处 的 起 作用 约束 训 标 集 
Nee = 


(3} 1=0( 无 等 式 约束 ) ,但 Ix") 关 儿 , 则 令 


Pl ST -NY (NN y -1 Ww 


= 全 "] 
0 ol 
dd = PY Vv 站 ) 


-lo ollssss) 


0 
lo 
(4) 因为 4 =0， 
(a) 1=0, 但 x) 名 则 
A = (NE NO YN V f(x'™) 
=| 0. 01 ew ol| 0 ] 


-0.15 3.25 1 站 -4875 
-| 0. 396 ]， 
— 14.4 
(bh) A =min|A® liE Tx)} = -14.4, 


置 
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Pp ST NN'? (N'Y NY y -ty 2 


， 1 0 15 151%™ 
引 ls 1 Isl ols 10][i0]) I 


100 _150 
| 325 325 
| 150 2251 
325 “325 
dm = -PY 9 f(r) 
100 1501 | 
| 325 “325 
| 150 _225| 写 
325 ~ 325 
| 人 
-6.646 1 


(5 本 ”天 四 ,所 以 ,求解 一 维 问题 
i poy = f(x + od ), 


st Oaaea 


其 中 
ee min{ LT = 0.09 ， 
2 2157" 6.6461 
白 灵 
即 min (4.430 4c7 +4[ 二 -6 646 la l 
gE [0.0.09] 5 


4 = C3) _ 2 (2) 0 443041 0. 398 7 
解 得 0 =0.09, 置 * ”=x +od ”= 二 +0.09 = 


-606.6461 0.601 9 
第 三 次 技 代 : 
(2) 确定 x 处 的 起 作用 约束 指标 集 
Nx = 11,21, 
(3) 1=0( 无 等 式 约束 ) ,但 Ix”) 关 吃 , 则 令 


| 


PP = 了 NG (NND NO 


- [。 本 nl([。 ol -ds io 
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0 0 
[， 中 “ 
3 二 Pp'3) VvV Ax ) 


0 
[|， 
(4) 因为 ”=0， 
(a)i=0, 但 玫 x"”) 关 作 则 
A = (NE NG IN flr) 
13 —1 1 1 1r0.% 
| ea lp oe 
加 全 ]， 
— 0.8 


(b) A = minfAe I iE Nx )} =-0.8, 


1 
置 wo | |， 
[| 
Pi = 了 了 一 NOON NO YIN 


-Da oD) ea 


_ | 0.5 | 
-05 05】 
dd a Pp V fx'™) 


0.5 -0.51r0.8 
a 0.5 wd 


2 
= | _ ,| 
(5}) 809) z0 ,所 以 ,求解 一 维 问题 


min plo) = fx + aod! ， 


st On i 


其 中 


-一定 = 0.3， 


即 min {0.4 + 2e) ”+470.6 — 2m》”， 
gE[0,0.3] 


解 得 as=0.2, 置 x = tasd 
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第 四 次 选 代 : 
(2) 确定 x 处 的 起 作用 约束 指标 集 
Ix™) = 11|, 
(3) f=0( 无 等 式 约束 ) ,但 f(x) 关 作 , 则 令 
TA 车 1 
FE 
| 0.5 | 


-0.53 0.3 
dad or P'*: v/ar'") 


0 
= [ 
(4) 因为 4? =0， 
Ca}f=0, 但 I(x) 关 作 则 


A = (N'Y Wy ) -i mye Vflr) 
=1.6 >0, 


(4) 


i = [| 


0.2 


14.3 既 约 梯度 法 


考虑 线性 约束 问题 
min f(x),x E RR", 
s. 4. Ax = EF, 
工 实 从 ， 


的 . 
车 对 六 作 分 解 站 =[B,N], 
其 中 是 = BB,,, ,是 可 道 答 阵 . 此 时 相应 的 分 解 为 
x = [xs,xr] (x 是 可 行 点 } 
(其 中 xs >0 称 为 基 变 量 ,rw 兰 站 称 为 非 基 变量 ) ， 
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Cb) A 之 0, 则 停止 计算 ,x"” 邯 为 KK ~ 点 ,所 以 


既 约 梯度 法 的 基本 思想 是 将 求解 线性 规划 的 单纯 形 法 推广 到 求解 非 
线性 规划 问题 《 因 其 是 由 Wolfe 所 出 的 ,因此 也 称 为 下 olfe 既 约 梯度 法 )， 


(14 - 44) 


其 中 起 = 六 ,lm <n) ,rankt 自 ) = 下 ,假设 ,4 的 任意 严 列 均 是 线性 无 关 


《14 — 45) 


《14 — 46) 


(14 - 47) 


第 14 章 可 行 方向 法 28S 


设 是 约束 问题 {14 -44) 的 可 行 方向 , 则 d 满足 


Ad = 用， (14 - 48) 
4 产 0( 当 % = 0 时 )， (14 - 49) 
则 有 # 亦 可 作 相 应 的 划分 
d' = (d,',d, ), (14 - 50) 
则 有 
Bd, + Nd, = 0, (14 - 51) 
上 式 左 茨 瑟 ” 得 
了 = 一 下 Nd， (14 - 521) 
车 如 再 满足 
vilx) ad «<0, (14 - 53) 
则 也是 zx 处 的 下 降 方向 ,将 {14 -53) 式 改写 成 
Vfix) ds + Vaflx}y GE <0, {14 -54) 
将 (14 -52) 式 代入 (14 -53) 式 ,得 
[weFz)I - Vafx) BN]d, < oO. {14 -55) 


定义 14.5{ 既 约 梯度 ) 若 令 
r” = {riry) 
=V f(r)" - Vef(x) 'B A 
= (Vax), Vofx)) ~ Vaflx)'B "(BN) 
=(0, Voyf(x)" - Vaf(x} BN), 


(14 -56) 
则 称 为 目标 函数 x) 在 x 姓 的 婚约 梯度 . 
由 上 述 推 导 可 知 ,d 满足 
d, =— BNd,, (14 - 57) 
d >0 ( 当 x =0 时 )， (14 - 58) 
rd, < 0, (14 -59) 
则 a 是 x 处 的 可 行 下 降 方 向 ,因此 ,可 以 按照 如 下 方法 选择 dy, 令 
=| Sy J (14 - 60) 
一 XT D ， 


其 中 N 表示 非 基 变量 指标 集 . 

定理 14.8 设 x 是 可 行 点 ,f(x) 具 有 连续 的 一 阶 偏 导数 , 若 x* = [xza， 
Xn ] ,xs > 人 ,4 = [B,N] 且 B"' 存 在 ,r= VY f(x)" -~ V(x) BA,dE 
R" 是 按 (14 -60) 式 和 (14 -57) 式 构造 的 . 如 果 d 关 0, 则 4 是 可 行 下 降 方 
向 ;进一步 4 =0 的 充分 必要 条 件 是 :+ 是 -了 后. 
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证 显然 由 (14 -0) 式 构造 的 中 满足 (14 -58) 式 ,因此 4 是 可 行 方 
调 . 
下 证 是 下 降 方 向 ( 即 证 明 @ 满足 (14 -了 9) 式 ). 由 (14 一 的 ) 式 得 到 
rvd, 三 3》 rd pnd + pa rad, 
ra ME 0 (14 -61) 
二 一 Sr 一 Dr 皖 必 ， 
国 次 基站 ,#y 关 从 因此 存在 ,<0 或 sx > 且 普 >0, 所 以 (14 ~81) 式 中 小 
于 号 严格 成 立 . 
最 后 证 明定 理 的 第 二 部 分 . 
问题 (14 -44) 的 局 部 解 的 K-T 条 件 汶 :存在 .vv 使 得 


VIAx) +AN-v=0, {14 -62) 
v= 0, {14 - 63) 
vx=0 (14 -64) 
对 vw 作 划 分 , 令 加 =(vw5,vwy) ,由 (14 -63) 式 和 x 之 0 可知 (14 -64) 
式 等 价 于 : 
Le 一 OR rn 一， 0. 【14 65 ) 
注意 到 zs >0, 因 此 za = 灿 这 样 (14 -62) 式 化 为 
Varz) +u = 省 ， {14 - 66) 
V(x) +uN-o = 人. (C14 - 67} 
由 (14 -66) 式 可 知 ， 
nH =- Vaflr)'B'', (14 - 68) 
将 (14 -68) 式 代入 (14 -67) 式 ,得 到 
uy = Vaflx) — Vflx}y' BN = ry, (14 - 的 ) 
因此 ,K -T 条 件 转化 为 
ry > 0, (14 - 70) 
ryxw = 0. (14 -71) 
当 引 =0 时 , 即 G@ = 和 ,因此 有 
rn = 0， (14 - 72) 
或 xr =0,Hr >0, {14 - 73) 


即 (14 -70) 式 和 (14 -71) 式 成 立 , 因 此 + 为 K-T 了 点 . 

反 过 来 ,若是 K-T 点 , 则 {14 -70) 式 和 (14 -71) 式 成 立 . 由 
(14 -60) 式 得 引 =0, 妈 d=0. 因 此 ds =0, 从 而 d=0. 

一 维 搜索 

下 面 讨论 既 约 梯度 法 中 一 维 搜索 的 搜索 区 间 , 由 (14 -60) 式 可 知 ， 
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当 * =0 时 ,有 出 产 0, 因 此 不 会 破坏 x 的 可 行 性 . 只 有 当 和 >0 且 由 <0 
时 ,x 的 订 行 性 才 有 可 能 被 破坏 . 因此 取 


ma = ein[ - 才 |a 0 ,7, > 0 | ， 
当 {d < 且 * >01 = 时 ,到 = +%- 


算法 14.5( 既 约 梯度 法 ) 
DD 取 初 始 亲 行 点 x'”, 即 x “满足 


Ax'': = 5, 
xz 3， 
置 天 =14 
加 构造 指标 集 = fjlz 是 * 呈 的 严 个 最 大 分 量 之 一 | ， 
并 计算 
B=(alj E1,), 
N= (qli £1), 
r= Vr ) -Vx BN, 


-rr， 和 人 0 ， 


项 党 
| j EL, 


Tj >0, 
GD =-B'Ndy; 
@ 车 d=0( 一 般 为 1d 上 三 8) , 则 停止 计算 ,x "为 最 优 解 ;否则 
求解 一 维 问题 


gi 由 (ao = flx™ 十 人， 


其 中 


i 
n 

六 5 

Cm = i 


+om,1d® <O0,x >0| 


于 


di < Ox > of 
= 
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Sz 
得 到 as, 轿 工 7) = 人 ae | 
四 置 上 =k+1, 转 @ 
例 14.5 用 既 约 梯度 法 求解 : 
min 《xl ~ 1)” + (x, 一 2)2， 
sf， XI+x+x = 
-2x + 3x, + x = 3, 
EE 


0 


0 
解 《1) 取 初 始 可 行 点 zx) = 了 "YAOx)=[20x, -1),2(x, -2), 


了 
0,0]", 置 上 =1; 
(2) 确定 x" 处 的 起 作用 约束 指标 集 
Tx) = |3,4}, 


B = (gs.4s) = |, 上 


-[ 


di = 12,4, -6， -8]7. 
(3) 显然 ”zz0, 则 求解 一 维 问题 
$a) = f(x") 后 ae ) ， 
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其 中 
WR 
Coa = min{| 二 = ,二 | 三 了， 
即 min [fr2a -1) +f4a 2]， 
=“ [村 ] 
273 
| 473 
解 得 mi = 二 ,置信 = + od = 
3 0 
1 


(2) 确定 x“ 处 的 起 作用 约束 指标 集 


tx ) = 11,21, 


ee Ee 二 | 
15 15 
d=- xr = 0,dl” = -Xr = 启 ， 
1 134 7T1 0 
了 -一 
2 3 0 1-| 一 
45 
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(3) 因为 a #0, 则 求解 一 维 问题 


min {oa) = f(x + ad'™ ) ， 


其 中 
_2 _i 
| 3 3 
三 一 ”人 = 了 .5， 
全 ma 中 |- | 
225 45 
- 2 1 2 2 
即 ain, [( -275° - 3) + (tse -3) |] 
375 
15 3775 
解 得 全 2 = 二, 置 x = tad = 
0 
0 


第 三 次 迭代 : 
(2) 确定 x” 处 的 起 作用 约 东 指标 集 
Hx™) = {1,21, 


1 1 
el 
-2 3 
1 0 
le 
0 1 
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第 4 章 可 行 方向 法 


RE 


-2 3 
- [24 二 | 
25 251° 
d= rr = 0,0 =- rr = 0, 
1 1 ,1 O04r0 
-| ,|| 
2 3 0 1ito 
闻 
0 
d= 0. 


(3} 因为 dg =0, 所 以 x 中 即 为 K-T 点 ， 
375 
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第 15 章 罚 函 数 法 


本 章 方法 是 将 约束 优化 问题 变 为 无 约 东 问题 来 求解 ,这 便 要 求 无 约 
东 问 题 的 日 标 函 数 必须 是 原来 的 目标 函数 与 约束 函数 的 荣 种 组 合 ( 线 性 
规划 中 ,大 了 法 求 初始 基本 可 行 解 时 , 即 是 如 此 ) , 罚 函 数 法 就 是 在 原来 
的 目标 耳 数 上 加 车 由 约束 函数 组 成 的 一 个 ^ 乱 罚 " 项 ,来 迫使 兴 代 点 逼近 
可 行 域 的 . 

在 以 下 讨论 中 ,假定 所 有 站 数 是 连续 的 . 


15.1 久光 数 法 


15.1.1 蜀 函 数 法 
1， 竺 式 约 东 下 的 罚 滔 煞 法 


考虑 等 式 约束 问题 
min A(x), (15 -1) 
s.t. RX) = OF = 1,2,.,1. 
假定 它 的 最 优 解 存在 ,可 行 域 为 
D = txl h(x) =0,i= 1,2,.",1|, 
令 plx) = [hx)]?, (15 - 2) 
进而 考虑 求解 新 的 函数 


F(x,M) = f(x) + Mp(x) = f(x) + MZ [h(x)] (15—3) 


的 无 约 东 极 小 问题 . 其 中 时 为 一 个 充分 大 的 正 数 . 

我 们 希望 F(z ,型 ) 的 最 优 解 去 (对 ) , 当 用 充分 大 时 能 并 近 约 东 问 题 
(15 -1) 的 最 优 解 . 为 此 ,附加 项 Mp(x) 应 具有 这 样 的 性 质 : 当 x ED, 即 
满足 约束 条 件 坟 (xX) =0,i=1,2,… ,i 时 ,附加 项 为 0; 当 x 兵 DD, 即 不 注 
足 约 东 条 侍 时 ,附加 项 给 以 很 大 的 惩罚 ,也 即 , 这 个 贰 数 F(x, 则 ) 对 可 行 
点 不 实行 惩罚 ,而 对 非 可 行 点 应 给 予 很 大 的 惩罚 , 即 


! D 
Wo 
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从 而 求解 等 式 约 束 问 题 (15 -1) ,可 转化 为 求解 无 约束 问题 
min F(x,M). 
定义 15.1 以 上 这 种 将 约束 极 秆 转化 为 无 约束 极 秆 的 方法 , 称 为 罚 
病 数 法 . 称 RE, 开 ) 为 罚 函 数 :; 开 为 罚 因 子 :Wp(z) 为 罚 项 ， 
2. 不 等 式 约 东 下 的 罚 函数 法 


同样 ,对 于 不 等 式 约 束 问 题 
min flx),xER’, 
s.t. gx) 20, = 1,2,.…,m, (15 ~ 4) 
由 于 不 等 式 约 束 。 g(xX) 守 0,i = 1,2,,m 
等 价 于 等 式 约 东 


min(tQ,g (tx)) = 0 = 1,2,.",m, 
因此 不 等 式 约 束 问题 (15 -4) ,可 转化 为 等 式 约 东 问 题 


min A(x), ss 
st, min(O,g(x)) = 0 = 1,2,.,m. 
记 D = {x| min(O,.g(x)) =0 = 1,2,.,m|, 


p(x) = D {min(0,g,(x))]’, 
构造 函数 
F(x,M) = f(x) + Mp(x) = fx) + MD [min(0,g.(x))]’, 
其 中 中 为 一 个 充分 大 的 正 数 , 且 
5 2 _ 0， * 尼 D ， 
ME [min(0,g(o) = 0 ED 
如 此 便 将 求解 约束 极 值 (15 - 5) 的 问题 转化 为 求解 无 约束 极 值 问 是 
minF (x ,M). 【15 一 了 》 
定理 15.1 对 某 个 确定 的 下 >0, 若 x(M) 是 无 纳 束 极 值 问题 
(15 -7) 的 最 优 解 , 则 x*(M) E D 必 是 约束 极 值 问 题 (15 -5) 的 最 优 解 
证 车 x(M)ED, 则 人 [min(0,8,(x))]”=0, 所 以 对 任意 x E D， 
总 有 
fx(M)) = FCI(M),M) = minF(x,M) < F(x,M) = f(x), 
由 x 的 任意 性 知 *( 必 ) E D 其 问题 (15 -7) 的 最 优 解 ,定理 得 证 . 
3， 罚 因子 的 确定 
定理 15. 1 说 明 , 只 要 求 出 无 约束 极 值 问题 (15 -7) 的 最 优 解 , 且 它 
属 子 可 行 域 , 即 x{ 术 ) E D, 便 求 出 了 约束 极 值 ;车 其 最 优 解 x(W) 锋 DD， 


(15 -0) 
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则 应 增 大 罚 因子 并 ,再 重复 上 面 的 讨论 . 一 般 取 形 为 一 个 数列 于, ,如 
取 定 
O<M < 前 人 
求解 min F(x,M,), 
| 若 对 应 子 好 的 罚 函 数 的 最 优 和 解 * ”=x(M,) 丘 DD, 可 以 证 明 ,x” 与 
| 可 行 域 D 的 距离 将 湖上 的 增 大 而 越 来 越 小 . 亦 妈 ,x 是 从 可 行 域 D 的 外 
部 趋向 于 约束 极 慎 (15 -5) 的 最 优 解 的 - 所 以 也 称 为 SUMT 外 点 法 - 
4. 罚 硒 数 算法 
算法 15. 1 罚 明 数 法 ) 
中 选择 序列 | | ,对 =cMi (ec>1) ,了 一 +m( 一 二 加)】, 取 补 
始点 *'" , 置 精度 要 求 se, 置 上 =1; 
名 以 x “为 初始 点 ,求解 无 约束 问题 
min Flx,M) = AX) + Me [min(O,g(x})], (15 -8) 
得 到 最 优 解 二 ”; 
国 若 机 p(x ) <<z, 则 停止 (x" 即 可 作为 约束 问题 的 最 优 解 ) ; 否 
巾 置 站 = 有 +1| , 转 氏 . 
例 15.1 用 加 函数 法 求解 的 束 问 题 


i 地 了 二 邓 ， 


» 


s.t. % + = 1, 


其 中 = (x,,*) ,要 求 选取 M, =0.05,c=2,e=10 


解 ” 引 入 罚 滑 数 
Flx,M,) = (3 + 二) + M(x + x 一 1) ， 
求解 无 约束 问题 min Fix,M,), 
令 F’ (x M) = x +2M(x + x ~1) =0, 


F(x,M,) = 本 +2M (x + 和 一 1 = 0, 


2M, 6M, ) 


4 x = x YT = |( 
i Se 1 + 8M,’"l + 8M, 


例 1s.2 用 罚 函 数 法 求解 约束 问题 


min f(x) = x1 + 2, 
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st Xi 并 
(显然 ,最 优 解 为 ”=(1,0)》 ,f(x")=1). 
解 引入 罚 函 数 
Flx,M) = {x + x2) + MImin(0,.x, 一 1)]* 


和 空 
-人 xl 区 二 ， 


x + 二 1), x <1, 


求解 无 约束 问题 
min F(x,M,), 


之 *| 六 上， 
0 = F(x,M) = | 
2x) 十 2aY ~ 1), x < 1, 


邻 
0 = F' (x,M) = 2x,, 
解 得 C0) a MD))T = (时 0) ， 
此 时 Oe (Tn) + ad i | 4 元 


令 有 +m, 得 YY =(1,0)"， f(x')=1. 
15. 1.2 罚 函 数 法 的 收效 性 质 


定理 15.2 设 0< 末 ,< 和 rz 分别 是 取 罚 因 于 了 ,4 时 
的 无 约 东 问题 415 -7) 的 最 优 解 , 则 下 列 各 式 成 立 : 

[17 FOx NM) eFC ,AM,,); 

(2) p(x ) p(x ); 

(3) f(r) A x ). 

证 (1) 因为 x “是 疝 题 (15 -7) 取 罚 因 子 好, 时 的 最 锭 解 , 所 以 
Fix ,M,) 去 Fx, M,) = f(x ) + Mp(x) 
Sfx) + Mplx tt = 下 

{2) 因为 x ,x 分别 是 取 罚 因子 及, ,| 时 的 无 约束 问题 
(15 -7) 的 最 优 解 ,所 以 有 
fx ) + 了 DC) SAI) + Mplx"" ), 
FeD + M, p(x ) < fxn ) + M, p(x ). 


将 土 面 商 式 的 两 端 分 别 相 加 ,经 整理 后 可 得 
CNM, - M,)[plx'™) - p(x )] 之 人 0， 


(15 -9) 
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六 ( 币 ,i 一般,) >0, 所 以 得 到 p(x ) 基 PE ); 


(3) 由 C15 -9) 式 ,又 由 pix ) p(x ), 
得 AR) -f(x ) 0 
所 以 Hr) = fr"). 


由 上 述 定 理 可 知 ,如 上 时 迁 代 不 终止, 那么 [fx 和 | F(x ,MM,)| 
为 单调 递增 序列 ,|p(x*") | 为 单调 递减 序列 . 


下 面 给 出 罚 函 数 法 的 收 人 敏 性 定理 . 

定理 15.3 设 (1) 也 数 放 Xx) ,g(xX) (i=1,2,…,m) 是 R” 上 的 连续 
明 数 ; 

{2) 序列 | 上 用 ,1 满足 0 < MM <M, < <M, 
且 limM, 二 二 的 p 

C3) 对 任意 WH, >0, 问 题 min Fx,M,) 的 最 优 扔 x =x(M,) 

存 人 三 且 有 和 界 ; 


(4) 约束 最 优化 问题 (15 -5) 存 在 最 优 解 x“. 
则 (a} 对 某 个 守 1) ,车 x ED,x” 为 问题 (15 -5) 的 最 优 解 ; 
(b) 车 情形 (1) 总 不 发 生 , 则 得 到 点 列 !x'"1, 其 任意 极限 点 都 是 问 
题 (15 -5) 的 最 优 解 . 
证 《a) 显 然 ,由 定理 15. 1 结论 成 立 ; 
下 证 (b) ,由 已 知 , 设 limx'" =X, 
由 于 f(x ) efx) + Mp (tx) = FOr,M) = min F(x,M,) 
F(x ,M) =Ax" ), 
你 由 的 连续 性 , 令 kw 得 
fn) < f(x ), (15 - 10) 
下 证 ED, 由 定理 15.2 得 ,|Fx 1 和 41PFOz 4) 为 单调 递增 序 
列 , 由 已 知 问题 (15 -5) 存 在 最 优 解 x" ,所 以 YED, 从 而 p(z”) =0, 且 
对 任何 上 天 有 
Fr MM) SE Flx’ MG) = fx) + 有 pt) = f(x" ), 
fx) f(x) + Mplx™) = FE Mi) < f(x ), 
由 此 ,jx ) | 和 |Cx ,| 为 单调 递增 且 有 界 的 序列 , 故 
lim F(x ,M) = Fa/x')}, 
lim A(x™) = ffx’), 
Flix ,MM,) -f(x ) 


叉 因为 p(x ) = 和 
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令 >+m ,上 式 取 极限 得 ,lim pP(rt ) =0， 


又 由 g(x) 的 连续 性 得 P(X) = lim p(x ) =0, 
所 以 ,x ED. 

又 因为 x 为 最 优 和 解 , 所 以 Nr) Ar), (15 -11) 
联合 (15 -10) (15 -11) 得 出 大 =) = 大 xz  ) ,如 此 说 明 * 是 问题 (15 -5) 
的 最 优 解 . 


注 1 罚 函 数 法 利用 求解 无 约 东 极 值 问 题 的 算法 与 程序 来 求解 约 
东 极 值 问题 ,这 是 其 优点 . 

2. 但 过 程 中 要 求 一 系列 无 约 东 极 小 问题 ,工作 量 必 然 较 大 , 且 在 求 
解 过 程 中 对, 不断 增 天 ,当选 代 过 程 收 敏 时 ,4fs 常常 是 很 大 的 ,这 就 可 能 
陷入 病态 - 且 是 很 大 时 ,可 能 导致 一 个 不 可 行 点 ,或 有 较 大 目标 函数 值 
的 可 行 点 ,而 这 些 却 是 罚 函 数 法 的 不 足 之 处 . 


15.2 障碍 范 数 法 


15,2,1 算法 的 构成 


麻 碍 函数 法 的 算法 思想 是 ,对 接近 可 行 域 边 界 的 { 可 行 ) 点 施加 越 来 
越 大 的 迁 罚 ,对 边界 上 的 点 施加 无 穿 大 的 惩罚 ,以 使 选 代 点 封闭 在 可 行 域 
内 . 如 此 人 恒 要 求 可 行 域 的 内 点 集合 非 空 , 理 则 当 可 行 点 全 被 加 上 无 穷 大 的 
惩罚 时 ,和 苹 罚 则 变 得 毫 无 意 尽 . 所 以 , 碎 碍 函数 法 仅 适 台 于 不 等 式 约束 . 障 
碍 函数 法 又 叫 内 点 法 ， 

考虑 不 等 式 约 东 最 优化 问题 415 -4) 

min A(x), XER"', 
s.t. gCT) 人 07 = 1,2,.,m, 

易 知 ,车 可 行 点 x 是 可 行 域 吕 = 1xig,(x) 宇 0,i=1,2,…* ,ml 的 边界 点 ， 
那么 至 少 存在 一 个 不 等 式 约束 ,例如 第 2 个 ,使 得 g,tx) = 小 

不 难 想到 ,构造 如 下 的 增 广 日 标 函 数 ;: 

Firn) = Ax) + HB(xX), (15 -12) 

其 中 


mm 


B(x) = 习 二 (15 — 13) 


定义 15.2 如 上 构造 的 函数 B(x}) 称 为 障 查 出 数 ( 内 部 惩罚 瑞 数 ) ,x 
>0 称 为 惩罚 因 了 于 ;Bt 称 为 惩罚 项 ， 
若 上 是 D 的 内 点 ,惩罚 两 数 中 (Y) 的 值 是 有 限 的 正 数 ; 当 上 由 内 部 接 
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近 近 界 时 ,至 少 有 一 全 约 东 函数 ,例如 第 i 个 ,将 使 gr) 趋 于 零 , 于 是 
B(x}) 趋 于 无 穷 大 , 则 Flx ,pn) 正 是 我 们 希望 的 是 数 . 

固定 疡 >0, 求 解 以 (15 -12) 为 目标 函数 的 无 的 东 最 优化 问题 

min F(x), {15 ~ 14) 

| 如 果 初 始点 取 为 可 行 域 D 的 内 点 ,那么 按 Er) 的 结 格 和 无 约束 下 降 选 代 
算法 的 特性 ,其 迭代 点 将 永远 保留 在 DP 内 ,最 后 求 得 的 极 小 点 也 必 属 于 PD. 

但 是 ,对 固定 的 >0, 无 约束 问题 (15 - 14) 的 极 小 点 一 般 不 是 约束 
问题 (15 - 4} 的 极 小 点 . 车 取 >0 为 趋 于 零 的 正 数列 [p41 , 则 当 j 记 一 0 
时 ,x,, 一 *". 如 此 便 可 通过 求解 一 系列 无 约束 问题 来 求解 约束 问题 (15 - 
4) ,有 即 对 上 =0,1,… ,求解 

minif(x) + MBXx)|, 

由 此 得 到 极 小 点 的 序列 1x"”|. 后 面 将 证 明 , 车 它 收敛 , 则 必 收 敛 于 约束 
问题 (15 -4) 的 极 小 点 工 - 

注 ”内 部 惩罚 函数 还 可 有 多 种 取 法 : 


1 
B 二 I 
2 [g(x) 了 
1 
SS 二 
1 
> gx) — gx)) 
= 人， 过 是 阶 夏 画 数 
其 中 心 (= 


算法 15.2( 障 碍 辐 数 法 ) 
已 给 定 : 终 正 限 ,惩罚 冰 数 
和 1 

Bix) = 之 es 

人 D 选 定 初始 可 行 点 x ,选取 者 始 惩罚 因子 山 >0, 惩 罚 因 于 的 缩小 
系数 c<1; 置 上 =1; 

回 以 x 为 初始 点 ,求解 无 约束 问题 

min{lf{x) + HB(x)! 


0， 
1 ， 


解 得 , 极 小 点 为 x . 
国 若 人 内 B(z) <s, 则 x 中 就 是 所 求 的 最 优 解 , 停 赴 , 否 则 转 多 ; 
地 置 品 ii = cpvss 丰 = +1; 转 人 @. 
例 15.3 用 障碍 函数 法 求解 


min{ 3 } 
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EE 
其 中 a 是 非 负 常数 . 
解 ” 增 广 日 标 函数 为 
Flr) = a Fe 


3 -a 
用 微分 法 求 它 的 极 小 点 . 令 
Fi{xn) = 1 -=0, 


(x a) 
由 此 得 极 小 点 所 满足 的 方程 为 
x (x -a) =, 
开 方 得 
x(x% -Qa) 一 土 A, 
因为 要 求 的 FGx ,Au 的 极 小 点 必须 在 可 行 域 内 , 即 极 洒 点 的 誉 标 满足 x 
a, 所 以 售 去 上 式 中 的 负 根 -wh, 得 到 方程 x? -az -Yn =0， 
其 解 为 + = (a Va +4YF), 
再 舍 去 负 根 ,最 后 求 得 F(x) 的 极 小 点 为 
Xr) = (4 + Va +4), 
令 到 一 0, 求 得 约束 级 小 点 为 >” = limx* = a， 
此 题 求解 过 程 的 几何 意义 如 图 15 ~1 所 示 - 


HH=0.01 


= 


x 0 0 tl) x 
图 15-1 
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15.2.2 障碍 函数 法 的 收 敏 性 定理 


引 理 15.1 对 于 由 算法 15.2 所 产生 的 序列 {r… 上 总 有 
Flx YD) mn) < F(x ,p), 
其 中 =1. 
证 由 (15 一 12) 和 ,> jy1 可 得 
F(x ,Wy) =Ax) + p(x ) 
fx) + mdr ) 《15 - 15) 
= 
又 因为 x * 是 F(x,pawi) 的 极 小 点 ;所 以 对 任意 的 x, 总 有 
到 AT PD FOR ,pr), 
只 需 将 x 换 为 x” , 即 得 . 
定理 15.4 设 人 x) ,8.AX) ,=1,2,…,m 都 是 R" 上 的 连续 函数 , 则 
由 算法 15.2 所 产生 的 任何 收 敏 序列 ix | 的 极限 点 必 是 约束 问题 (15 - 
4) 的 极 小 点 . 
证 设 收 敛 序列 |x'"} 的 极限 点 是 ,约束 问题 (15 -4) 的 极 小 点 是 
*". 由 增 广 目标 函数 (x,g) 的 定义 和 Jj8(x")>0 可 知 ， 


F(x ,pi) flr ) > f(x' ), (15 - 16) 
再 由 引 理 得 ,| F(x ,jw) | 是 有 下 界 的 不 增 序 列 ,因此 必 有 极限 . 
不 妨 设 limF(x® ,pm) = Ff/(x°), (15 - 17) 


车 能 证 明 玉 >/(x* ) , 则 由 (15 -17) 和 {15 -16) 可 得 知 
lim f(x ) = f(r"), 
再 由 上 的 连续 性 立刻 得 到 
fA) = limf(x™) = fx"), 
从 而 定理 得 证 . 因此 我 们 只 须 证 明 , 对 于 充分 大 的 FCx 人 ,pi) -f(x') 
可 凡人 竺 意 小 . 
由 f 的 连续 性 可 知 ,对 于 任意 小 的 正 数 =, 在 可 行 城 的 内 部 可 以 找到 
一 个 点 王 , 当 下 与 x* 充分 接近 时 总 有 
所 让 -flx') < (15 ~ 18) 
再 由 F(x ,1) 的 定义 可 知 ,对 于 可 行 域 的 任意 内 点 x 总 有 
F(x ps) EAX) + prB(x), 
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特别 地 ， Fx pi) SE fF) 二 向 县 (并 ) ， 
上 式 的 两 端 同 时 减 去 六 x" ) ,得 

F(x a) -Hx EAR) -HAx) TAB (13 ~ 19) 
内 为 lim jg =0, 所 以 对 上 述 ze, 存在 天 , 当 上 > 站 时 必 有 


HBX) < 三 


2 ， (15 — 20) 


联合 (15 -19),(15 一 18} 和 (15 -20) 得 


F(x pm) -ft") < +7 6 


百年- 过 
2 2 
定理 得 证 . 
我 们 知道 ,障碍 函数 法 中 必须 先知 道 一 个 初始 内 点 + ”Eint DD, 在 实 
际 问题 中 ,如 果 初 始 内 点 不 能 赁 直观 找 出 时 , 则 必须 给 出 一 种 求 初始 内 点 
的 算法 . 下 面 介绍 一 个 寻找 初始 内 点 的 选 代 算法 . 
算法 415.3( 求 障碍 函数 法 中 初始 内 点 的 算法 ) 
OD 始 定 初始 点 了” ,初始 参数 r, >0, 缩 小 系数 有 BE(0:1) , 邻 上 =0i 
地 确定 指标 集 , 令 
了 = 2 
J = 全 | gr) > 0,7=1,2,.,ml; 


国 检验 是 否 满 足 终 止 准则 ,车 I= 宇 , 则 x E in 至 ,迭代 终止 ; 否 


则 , 转 遇 ; 

@ 求解 无 约束 问题 . 以 x ”为 初始 点 , 求 无 约束 问题 min HH ,,《*) 的 
最 优 解 x'*'!， 
其 中 Hx) =- Dr) tr i 


D， {x 1 BCE) > 0,iEJ,|, 
邻 r, =Br = 大 +1 ,返回 中， 


15.3 “广义 Lagrange 乘 子 法 


算法 思想 :把 罚 函 数 与 Lagrange 函数 结合 起 来 ,借助 于 罚 丽 数 法 的 优 
点 ,并 结合 Lagrange 乘 子 的 性 质 , 构 造 出 更 合适 的 新 目标 焉 数 ,使 得 在 罚 
因子 开道 当 大 的 情况 下 就 能 逐步 达到 厌 约 东 问 题 的 最 优 解 : 由 于 这 种 方 
法 既 要 借助 于 Lagrange 乘 于 选 代 进行 ,而 又 不 同 于 经 典 的 Lagrange 乘 于 
法 , 故 称 为 广义 乘 子 法 , 
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15.3.1 等 式 约束 下 的 广义 鞠 子 法 


考 虚 只 带 等 式 约 柬 的 最 优化 问题 (153 -1) 
min f(x), 
st hx) = 0,i = 1,2,.,1, 
易 知 ,{15 -1) 等 价 于 问题 


min [FAx) + 了 了 hx)], 


st hx) =0, = 1,2,.,1, 
其 中 村 >0. 
该 问题 的 Lagrange 国 数 为 


LxM,v) = Ax) + TEE) - Thx), 


(15 - 21) 


由 于 5(x, 夺 ,加 中 既 有 罚 项 二 并 天 (xz)》, 又 有 乘 于 项 - 立 wo 有 (xz) , 故 称 


为 雪子 罚 函 数 ， 
与 加 函数 类 似 ,车 设 1 好 | 为 严格 单调 递增 且 趋 于 无 穷 大 的 正 数列 ， 
则 我 们 可 以 把 求解 等 式 约 东 问 题 415 -1) 转 化 为 求解 一 系列 的 无 约束 


问题 
NM t ' 
min L(xX Mu) = I) + DE) - Do h(x), 
(15 — 22) 
其 中 v2 = (oo ，… ,51"” ) 是 第 上 次 先 代 中 采用 的 Lagrange 乘 子 ,并 
且 有 
定理 15.5 设 x" 是 无 约束 问题 (15 -22) 的 最 优 解 , 则 x" 也 是 
问题 
my J (15 - 23) 
st hx) = hr = 1,2,..,! 
的 最 优 解 - 
证 由 于 x 是 无 约束 问题 (15.3.2) 的 最 优 解 , 故 对 于 任意 x 丘 
R ,都 有 
了 (ED , M,,w,) 安 L(xX,M,,v.), 
即 


fx ) + pp (xz) ~ Do hx) Sfx) + 
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Mi : 
一 下 2 {EE} 
2 2 Pa h(x), 


亦 即 fz) -fx) < -Cs 


- Do h(x) -hr )). 


当 x 满足 约束 条 件 h(x) = 有 (Cx),i=1,2, 呈 ,1 时 ,f/x*) 所 所 x). 所 
以 ,x ”也 是 问题 (15 -23) 的 最 优 解 . 

终止 准则 的 确定 : 

由 定理 15.5 可 知 , 经 过 适当 调整 对 . 与 纠 , 当 

h(x) = 0 = 1,2,.,1 
成 立时 ,x* 即 为 所 求 等 式 约束 问题 (15 - 1) 的 最 优 解 - 因此 ,在 下 面 叙述 
的 算法 步 圣 中 ,我 们 将 把 x 是否 近似 地 满足 该 问题 的 约束 条 件 , 即 
RCx I <e 
作为 终止 准则 ,这 里 = >0 是 预先 给 定 的 允许 误差 ,向 量 隙 数 
hx) = (Ch (CX) ,hs (x) ,eh (x) ) 

凡 ; 与 上 u 的 选取 

目前 ,算法 的 困难 就 在 于 好, 与 如 的 选取 . 如 果 放 xX) 和 h(x) =0， 
i=1,2,… 小 均 具有 一 阶 连续 偏 导数 , 则 


VLx M0) = V AX) - DE -Mh Cx)] V h(x). 


当 络 定 了 充分 天 的 好 并 且 在 全 已 知 的 情况 下 , 求 得 无 约束 问题 (15 - 
22) 的 最 优 解 x , 则 必 有 
VL rx,M,,D.) 


= VAx) Tv M(x) Yh(x) =0. 


因此 ,为 了 使 ww 近 近 Lagrange 磁 于 了 ,可 按 梯 度 方 向 建立 委 子 选 代 ， 
即 采 用 
ve = 0 Mig, Cx ) i 2, 
来 收 正 w ,在 下 一 次 选 代 中 便 求 问题 


min L{x,M, ,wm,,,) 
IER" 


的 最 优 拥 x*+* ,这 样 操作 下 去 ,直到 了 收 敏 , 即 直 到 
hix) | <e 
为 止 . 如 果 j8 (xz 1 不 收 化 到 0 或 者 收 敏 太 慢 ,就 增 大 好 的 值 ,再 进行 
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[| 
选 代 ( 收 全 快慢 ,一 般 用 和 来 衡量 ). 


综 上 所 述 , 可 给 出 等 式 约束 下 的 广义 老子 法 的 算法 步 又 . 

算法 15. 4( 等 式 约束 下 的 广 尽 乘 子 法 ) 

中 给 定 初始 点 x”, 初 始 乘 子 名 ,初始 罚 因子 NW >0, 放 大 系数 a > 
1 ,人 允许 误差 限 e >0 ,套数 YY (0,1), 令 上 =1; 

@@ 求解 无 约束 问题 :以 x" ”为 初始 点 ,求解 无 约束 问题 (15 - 22) ， 
设 其 最 优 解 为 x ; 

名 检查 终止 准则 :车 上 (x) | <e, 则 选 代 终止 ,z 纪 为 等 式 约 束 
问题 (15 - 1) 的 近似 最 优 艇 ;否则 , 转 志 |; 


|aCx™ ) | 
Eh 判断 收 剖 快慢 ;车 i hx) | 


则 令 六, = a , 转 国 ;否则 , 令 MM; ,1 = 叶 , , 转 国 ; 
名 进行 乘 子 选 代 : 令 
pr = vi _ Mh (x) ,i = 1,2,.,1 
及 上 =k+1, 返 回 名 . 
例 15.4 用 乘 子 法 求解 
人 Nx) = 好 — 3x, — 2 ， 


x = 0. 


YY， 


解 ” 乘 子 函数 为 


Lix,M,vu)} = 一 3x, 一 x + a) — vx, 


=2 一 《3 十 OX + 二 (到 一 2)x3， 


第 一 次 选 代 : 
(1} 信 F =(0.0.5)7p =4: 村 | =8,w =10,e = 人 .01,y =0.25. 
{2} 此 时 L {x80) = 妇 -Tr, +3z2， 
251 = 0, 
Hx, 
EE 
PE 
11) 了 1 
解 得 + 一 (0,<] 


(3) | h(x) | = 于 >e， 
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7 
[az 1 6 -了 令 M, =10 M, =80 
4) 因 二 二 9 
2 
将 
(5)w "=4 8 x =4 了 = -3 
第 二 次 进 代 : 
(2) 此 时 {#80, -区 = -9 
0 
DX, 
a 了 
Fr 二 3 + 7T8x, 二 D, 
解 得 x = (0，- 0.03) 
(3) | h(x ) | =0.03>s, 
| xz 1 003 A MM 
4 - = =0.025 <0,25, 邻 NM, = M, =80， 
( ) 因为 Cry 7 3 2 
(5) sOx( -0.03) = -5.3+2.4= -2.9. 
第 三 次 选 代 : 
(2) 此 时 L(x,80, -2.9) =x? -0. 1x。+39x2， 
BL 2 -0, 
dX) 
2 
EE . 
解 得 x = (0,0.001)", 


(3) | jze) ‖ =0.001 <g, 所 以 ,x = (0,0.001)” 即 为 近似 最 
优 解 (其 最 优 解 为 x”= (0,0) ). 


15.3.2 不 等 式 约 东 下 的 广 尽 策 子 法 


下 面 考 虚 带 有 不 等 式 约 束 的 问题 (15 - 1) 和 (15 -4). 
对 于 只 带 不 等 式 约 东 的 问题 (15 -4) ,引入 附加 变量 y= (YY,，"**， 
Ya) , 则 问题 (15 -4) 等 价 于 等 式 约束 问题 
全 fix), (15 - 24) 
sa.t. g(x) -y=0,7=1,2,.,m, 


问题 (15 -24) 所 对 应 的 广义 彝 于 法 中 的 冬 子 罚 洋 数 为 
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YH, 一 村 
Lx,y, M0) = f/x) + 7 2 [B(x) — yi] 


2 Le) = 
从 而 把 问题 (15 -4) 转 化 为 求解 无 约束 问题 
min L(x,y, Mi ,0), (15 - 251 
为 把 问题 (15 -25) 北 成 只 关于 求 极 小 的 问题 ,我 们 将 先 对 函数 
L(Y, MVD;) 关 于 3 求 极 小 ,由 此 解 出 了, 再 代入 问题 (15 -25) 中 . 
用 配方 法 将 L(t ,3 ,村 ,Do,) 转 北 为 
L(x,y,M,,v,) = A(x) 
A a) 
+ 于 [C8 | -5 726) 
为 使 上 关于 取 极 小 值 , 则 ,应 满足 


(1) 当 山 g(x) -vr 20 时 ,yi = [Mg, (x) = ]s 


(2) 当 Mg x) -证 <0 时 ,六 =0 
综合 (1}、(2) 即 有 


2 max{0 ,Mig,(x) wy ee i ee i 
此 


把 (15 -27) 式 代入 (15 -26) 式 中 ,由 此 定 尽 出 与 无 关 的 磁 子 因 函 数 
区 CE ) = x) 


+ 和 三 1[max(0,(e -了 人 (3 了 C09)? , 
从 而 ,问题 (15 -4) 转 化 为 求解 一 系列 无 约束 问题 
min L(xX,M,,v,). 
15. 3.3 等 式 与 不 等 式 约束 下 的 广义 生子 法 


对 于 既 含 有 不 等 式 约 东 又 含有 等 式 约 东 的 一 般 最 优化 极 小 问题 
(15 -1) ,可 定义 乘 于 罚 函 数 


L(x,M, ,ow, Hi) = Fx) 2 i [max(0, (vw 一 


Mg CD 0m) + Dr) + ph), 


其 中 乘 子 选 代 会 式 为 


一 max| 人 ,pe 一 Mg {x )}! ,i = 上 ,2 …… mm， 
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第 13 章 罚 函 数 法 
pa 三 maxlO ue — Mh.(x") : 5 Es 二 


内 此 ,问题 (15 - 1 转化 为 求解 一 系列 无 约束 问题 
min L(x,M, ,vw :下 


下 诗 民 nn 


上 述 两 类 问题 的 具体 计算 步 又 与 等 式 约束 的 情形 类 位 . 
例 15.5 用 广 闵 乘 子 法 求解 


min (x+ 1)* + x 


st x +x, 守 1， 


解 增 广 目标 函数 为 
二 = 二 1 Tl max Ov = 
he ii + 和 1 > 
-1 一 好 


=4 (x) 1)? ++ -Mv + 
1 
区 1 Tm 


也 
当 1 +x, 一 ] > 可 时 ， 


Cs 
dx 
a = 2x, = 0, 
Ox, 
解 得 (sss) 7 = 《一 1,0) ,显然 不 满足 约 东 . 
时 


dL 2 
eM) 
=2x, +2 + M(x, +xz -1) -v=0, 


DZ 2 
人 三 过 人 二 +x,—1)j(- MM) 


=2x, + HHfx +x -1)-v+=0, 


= T __- -2 v+2N . 
解 得 (ry 上 + 2M'2 | 
由 尼子 选 代 公式 
we 二 mx 日， 人 一 有 
二 r_ fv-2 ov+2My 
又 结合 《5 | 
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得 =2 ,所 以 fx yx) ” = (0,1) ,此 时 间 可 取 一 因 定 慎 . 

由 于 如 因子 好 , 不 必 趋 向 无 穷 大 就 能 求 得 原 约 东 问 题 的 最 优 解 ,四 
此 ,避免 了 外 罚 函 数 法 中 的 病态 出 现 , 计 算 经 验 表明 ,广义 科 子 法 优 于 外 
如 画 数 法 . 


15.4 ”精确 罚 酌 数 法 


精确 圈 函 数 法 的 思想 :与 罚 函 数 法 相 比 ,精确 罚 函 数 法 不 需要 求解 一 
系列 无 约束 问题 ,而 是 构造 一 个 函数 , 它 不 需要 依赖 某 些 未 知 参 数 , 且 它 
的 无 约束 极 小 点 恰好 就 是 原 约束 问题 的 最 优 解 . 

精确 罚 函 数 法 包括 Zangwill 的 经 览 精确 罚 汕 数 法 ( 见 文献 5), 以 及 
Fletcher 提出 的 可 微 精确 罚 函 数 法 . 由 于 篇 幅 所 限 此 处 我 们 只 介绍 后 者 . 


15. 4.1 非 线 性 等 式 约束 向 题 的 可 微 精确 罚 孟 微 法 


问题 Po (15 28) 
st h(x) = 0,0 = 1,2,.,, 
构造 广 闷 Lagrange 函数 
L(x) = f(x) -A(x) h(x), (15 - 29) 
其 中 ACx) =TA CEY, As Cr) ,Ax)] RCx) =[h, (Cx), ha (x), 


h(tx)].. 

此 广 立 Lagrange 画 数 和 和 经典 Lagrange 应 数 相 比 ,区 别 在 于 :A 不 再 是 
一 个 独立 的 向 量 ,而 是 x 的 郴 数 . 

由 VEx) = SCx) -ACX)ACx) -EV ACx) h(x), 


(15 - 30) 
其 中 ACX) = VRCX), SCX) = VY A(x), 
和 若 , 要 使 (x) =0, 则 h(x" ) =0， 
且 St = A(x”' )A(x' ), (15 -- 31) 
于 是 构造 入 (x) 的 一 个 方法 是 
ACX) = [A(x)]' S(tX), (15 - 32) 
这 是 超 定 线性 方程 组 (15 -31) 的 极 小 最 小 二 乘 解 ， 
因此 
Lx) = /x) — h(x) [A(x) 1]’ SCx), (15 — 33) 


由 矩阵 代数 知 ,满足 Y LCx* ) =0 的 点 x*' 未 必 是 (15 -33) 的 极 小 点 . 然 
而 车 在 L(x) 中 加 进 具有 正定 矩 阵 2 的 平方 项 h(x) Qh(x) , 则 不 仅 可 以 
保持 Y L(x') =0, 且 可 望 在 x" 处 得 到 正 的 曲率 . 一 种 特殊 的 选择 是 取 
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=ptA(x)'] x[A(x)']', 于 是 
Lx) = fx) — hitx)” 
[ACx) JS(Cx) + hx) TAX) ][ACX)* J] h(x). (15 - 34) 

定理 15.6 设 x 是 问题 (15 -28) 的 严格 局 部 极 小 点 , 则 对 于 (15 - 
34) 成 立 Y L(x ) = 和 ,而 且 存 在 一 个 上 ” ,使 得 对 每 一 个 凡 宇 ,上 矩阵 
V L(x" ) 是 正定 的 (证 明 略 去 ). 

推论 着 定理 15.6 的 条 件 成 立 , 则 存在 一 个 " ,使 得 对 每 一 个 内 
Am" (15 -34) 的 无 约束 极 小 点 就 是 (15 -28) 的 最 优点 . 

由 以 上 分 析 ,可 以 建立 解 非 线性 等 式 约束 问题 的 精确 罚 函 数 算法 . 

算法 15. 5( 精确 罚 函 数 法 ) ”给 定 初始 点 x , 置 m =1,k=1. 


OD 计算 
下 =101 Vifx) | tr (15 ~ 35) 
是 以 x 为 初 妈 点 ,4 为 参数 值 ,求解 
min L(x), (15 - 36) 


其 中 天 (z) 由 (1S -34) 确 定 , 得 9， 
二 判断 VECzi ) 的 正定 性 :车 YL(x) 正 定 , 则 x”=x 中 ,停止 ; 
和 否则, 令 ri = 三 1. Sr,, 管 上 =X+1 .转世 . 


15. 4.2 一 般 非 线性 约束 问题 的 可 袜 精 确 罚 活 数 法 


若 令 w(x) = (g(x) ,h(x)) , 则 (15 -34) 还 可 以 表示 成 
L(x) = Rx) - [r(x)] wlx), (15 — 37) 
其 中 r(x) = [ACx)]’ SCx) -ALaCz)] [LACX)]’] w(xr), 


对 于 下 ER", 引入 记号 : 太 ( 下 ) = 和 ,有 (下 ) = 记 ,W( 下 )】= 夫 ,考虑 二 次 规划 


问题 
人 
min F166 + g6, a 
st. AB + = 0, 
恒 可 导出 如 下 的 结论 . 
定理 15.7 在 问题 (15 -38) 中 , 若 rank(A) =1,A 为 其 Lagrange 乘 
子 , 则 A =r(). 


证 ”构造 问题 (15 -38) 的 Lagrange 哨 数 
$8,A) = F108"6 + 6 -A'(ATB +PY}, 


由 Ws 由 (6 ,A = ,得 
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A = A (un6 + 5), 
又 因 8 = -{47) + 吕 , 所 以 
A =A + -4 (A')W, 
即 A =r(£), 
t 定理 15.7 构成 了 和 解 (NP) 间 题 可 微 精 确 罚 函数 法 的 基础 . 在 (NP) 问 
题 中 ,对 于 不 RR", 引 人 记 导 ; 
§ = VAE),A, = Vg(R) (g(x) > 0), 
A, = V h(E) Ch (Cx) = 0) ,Wm = we). 
考虑 二 次 规划 问题 
min F166 + $°6, 
st ATB+ 人 2 0, (15 -~ 39) 
并 IT5 + 用 人. 
假如 问题 (15 -39) 解 点 钼 的 有 效 约 东 也 是 {NP) 问 题解 点 处 的 有 效 
约 东 ,并 且 (NP) 问 题 和 (15 - 39) 的 Lagrange 乘 子 相同 ,那么 ,按照 问题 
(15 - 39) 的 Lagrange 乘 子 向 量 az ,9" ,就 可 以 构造 惩罚 函数 
EXY) = f(x) —- (w' ) w(x), (15 - 40) 
解 无 约束 问题 
min L(x), C15 -41) 
就 可 以 得 到 (NP) 的 最 优 解 +”. 
精确 罚 函数 法 计算 L(x) 时 ,不 但 要 求人 xX) ,wtx), 且 要 求 Y fx)， 
VY w(x) ,特别 在 无 约束 极 值 求解 时 ,一 旦 要 求 Y L(x), 则 进一步 要 求 
?fx) ,所 以 非常 烦 正 , 正 因为 如 此 ,精确 罚 函 数 法 很 少 应 用 于 实际 中 . 
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16.1 二 次 规划 问题 及 其 K-T 工 条 件 


二 次 规划 问题 形式 可 表示 为 : 
(= min Q(x) = 了 ‘Hx + p'x, 
s.t. Ax = 8, 
bs 
其 中 吾 是 ww 阶 对 称 半 正定 短 阵 ,p 是 n 维 列 向 量 ,4 是 mxn 引 阵 ,b 是 训 
维 列 回 量 , 
(二 ) min x) = 了 "Hr +p'x, 


st， ds 再， 


二 池上 ， 
其 中 吾 是 二 阶 对 称 半 正定 符 阵 ,P 是 4 维 列 向 量 ,4 是 严 xza 和 矩阵, 下 是 严 
维 列 向 基 . 
min {x) = Fx "Hx+p'x, 
st Ax 主 $B， 
x 宇 习 ， 
其 中 吾 是 rn 阶 对 称 半 正定 矩阵 ,p 是 5 维 列 向 基 ,4 是 mm xn 短 阵 , 上 是 识 
维 殉 向 量 . 


二 次 规划 在 实际 应 用 中 很 重要 .另外 一 次 规划 解法 也 经 常 是 解 一 般 
非 线 性 约束 最 优化 问题 的 工具 ,故此 二 次 规划 的 计算 方法 越 来 越 引 起 人 
们 的 注意 .下面 我 们 简要 介绍 二 次 规划 的 K- 卫 条件 以 便 为 后 面 方法 的 
不 失 一 般 性 , 设 二 次 规划 问题 为 
min 如 (YY) = THx +p'x, 


s.t. A —b 0, 


区 宇 洛 . 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


312 下 舌 ”约束 最 优 化 方法 


引 | 人 Lagrange 了 明 数 


L(x,u} = "Hx +px+n (Axr—b), 


由 第 十 二 章 的 结论 ,在 适当 条 件 下 规划 问题 的 K-T 条 件 可 写成 
Vr,nu) = Hx+p+A'n > 0, 
| x VLxu) = x (Hr+p+Au) =0, 
三 宇 话 ， 
VLxX,n) = A -bo0, 
u VLxXN) = u (Ar -bb) = 0, 
让 基 必 . 
现 引 和 320 ,3 了 尖 ,上面 各 式 可 写成 
Hx+pg+Aw-v=0, 
x'v = 人 0, 
*" 半 ， 
Ar -b+y = 人 笑 ， 
uy = 0, 
下 站， 
有 由 节 世 0,pz0,7 基 ,关上 式 可 写成 
(1) Ax +y = 5, 
{2) Hr +p+Au-vw=0, 
(3) xX 宇和 ,Dy 
【4 x ro+uy = 0. 
六 了 使 用 方便 ,后 面 再 给 出 另外 二 种 形式 二 次 规划 问题 的 K-T 
条 件 . 
对 于 二 次 规划 癌 题 ( 一 ) ,K -了 条 忻 为 
(1) Ax = 6b, 
(2) Hx +p+A'W-v=0, 
{3} 人 ,v2 
(4) x v= 作 . 
对 于 二 次 规划 间 题 (三 ) ,K-T 条 人 忻 为 
{1} Ax +y = 6b, 
(2) Hx +p + 有 A = 人 0, 
《3 下 z20y 基 由， 
(4) my = 0, 
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明显 的 ,这 些 条 件 者 是 相应 二 次 规划 解 的 必要 条 件 . 
有 关 充 分 条 件 ,我 们 仅 就 问题 (二 ) 进行 讨 论 , 
定理 16.1 若 对 满足 下 -T 条 件 的 点 (x ,了 :8 ) ,满足 
Q(x) - Q(x) x-x) VOCx'), (16 - 1) 
则 * 和 便 是 二 次 规划 的 最 优 解 ， 
证 
Q(x) -Or F(x-x) VV Ox') 
= (区 一 (BE +p) 
={(x x) (vv 一) 
=x ov -x wv tu TAx” -bh- (Ar-b)| 
Wa 


和 里 T 
Xv uy” 


= 站 ， 
即 对 任何 满足 
Ax SB， 
直 主 听 
的 * 均 有 Q(xr) > Qlx' ), 


所 以 *" 是 二 次 规划 的 最 优 解 - 
注 ”对 二 次 规划 间 题 (二 ) ,因为 如 (xz) 是 半 正 定 第 阵 , 则 Q(x) = 


六 x"Hx +prx 是 凸 画 数 ,又 由 Q(x) 的 是 性 可 推出 (16 -1) 成 立 . 
五 为 半 正定 算 阵 , 则 K-T 条件 便 是 二 次 规划 最 优 解 的 充分 条 件 . 这 
是 许多 二 次 规划 计算 方法 的 理论 基础 
16.2 Lemke 算法 


Lemke 算法 的 基本 思想 是 ,把 线性 规划 的 单纯 形 方法 加 以 适当 修改 ， 
用 来 求 二 次 规划 的 KK 了 点- 
考虑 二 次 规划 问题 


点 
min Q(x) 二 了 rr + 有 IT 


s.t AxX 宇 上, 《16 一 了) 
二 衬 从 ， 
其 中 吾 是 # 阶 对 称 炬 阵 ,p 是 nn 维 列 向 量 , 和 4 是 m xn 和 姑 阵 , 秩 为 m,&b 是 


m 维 烈 向 量 . 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


引 人 Lagrange 郴 数 
L(xX,H,V) = Fx Hx +pxX- H(A-—b) -vr, (16—-3) 
再 引 人 人 松弛 变量 了 宕 0, 使 
Ax 一 下 = 了 《后 一 4) 


根据 第 一 节 结 论 , 可 将 问题 (16 -2) 的 K-T 条 件 写成 
vv- Hx + 骨 7 = pp, 


yy -AxX=-6, C16 — $3) 
vx = 0, 
yu = 0， 


HD, 0 


"站 和 四 


w A 


于 是 ,(16 -5 可 写成 下 列 形式 : 


若 记 


| (16 - 6) 
wz 
wz = 用 (16 -了 7) 


其 中 w,4,7 均 为 m+n 维 列 向 量 , 好 则 是 严 +a 阶 矩阵 《16 -6 和 (16 - 
7) 称 为 线性 互补 问题 , 它 的 每 一 个 解 (w,z) 具有 这 样 的 特征 : 解 的 2(m+ 
n) 个 分 量 中 ,至 少 有 m+n 个 取 零 值 ,而 且 其 中 每 对 变量 (w,z) 中 至 少 有 
一 个 为 零 ,其余 分 量 均 是 非 负 数 . 下 而 研究 怎样 求 出 线性 互补 问题 的 解 . 

定义 16.1 若 (w,z) 是 (16 -6) 的 一 个 基本 可 行 解 , 且 每 个 互补 变 
量 对 (w,,z,) 中 有 一 个 变量 是 基 变 量 , 则 称 (w,z) 是 互补 基本 可 行 解 . 

这 样 , 求 二 次 规划 K-T 点 的 问题 就 转化 为 求 互补 基本 可 行 解 . 现在 
介绍 求 互 补 基 本 可 行 解 的 Lemke 方法 . 分 两 种 情形 讨论 : 

情形 1， 如 果 950 , 则 (w.z) = (4g,0) 就 是 一 个 互补 基本 可 行 解 ， 

情形 2， 如果 <0, 则 引 人 人 工 变 量 m, 令 


w— Mr -er = 人， “16—8) 
wp ,zz 这 必 ， (16 -9) 
w'z = 0, {16 - 10) 


其 中 e = {1,…,1) 是 分 量 全 为 1 的 m+n 维 列 问 量 . 
为 求解 情形 2, 引 作 准 互补 基本 可 行 解 的 概念 . 
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定义 16.2 设 (w,z,z) 是 情形 2 的 一 个 可 行 解 ,并 满足 下 列 条 件 : 

(1) (w,z;z0) 是 (16 -8) 种 (16 -9) 的 一 个 基本 可 行 解 . 

(2) 对 某 个 5s E11,…,m +R ,au 和 = 都 不 是 基 变 量 ， 

(3) zo 是 基 蛮 量 , 每 个 互补 变量 对 (miz) (=1，… 用 十 玉江 天 5 
中 , 怡 有 一 个 变量 是 基 变 量 ， 
则 称 (w,z,a) 为 准 互 补 基 本 可 行 解 

下 面 用 主 元 消去 法 求 准 互补 基本 可 行 解 ， 

首先 , 令 

zo = max{f -gq |i= 1 ,m+n| =— 4 
T=, w= + = 4 ~ Eq; 

则 (Cw,z,%) 是 一 个 准 互补 基本 可 行 解 ,其 中 w,(i 关 说 和 ;是 基 变 量 ,其 
余 变量 为 非 其 变量. 以 (w,z,a) 为 初始 解 ,用 主 元 消去 法 求 新 的 准 互补 基 
本 可 行 解 ,力图 用 这 种 方法 迫使 变 为 非 基 变量 . 为 保持 可 行 性 ,选择 主 
元 时 要 遵守 两 条 规则 : 

1. 若 wi( 或 ?5) 出 基 , 则 2 或 由) 人 基 ; 

2 按照 单纯 形 方法 中 的 8 规则 确定 出 基 变 量 ,这 样 就 能 实现 从 一 个 
准 互补 基本 可 行 解 到 另 一 个 准 互 补 基本 可 行 解 的 转换 ,直到 得 到 互补 基 
本 可 行 解 , 即 zo 变 为 非 基 变量 ,或 者 由 情形 2 所 定义 的 可 行 域 无 界 的 
结论 . 

算法 16.1(Lemke 算法 ) 

OD 若 g 之 0, 则 停止 计算 ,Cw,z) = (4,0) 是 互补 基本 可 行 解 ; 否 则 ,用 
表格 形式 表示 方程 组 (16 -8), 设 

一 和 = max| -gi|i=1,.…,.m+n!, 
取 上 行为 主 行 ,%% 对 应 的 列 为 主 列 , 进 行 主 元 消去 , 令 办 = 和 

加 设 在 现行 表 中 变量 办 下 面 的 列 为 起 . 若 二 0, 则 停止 计算 ,得 到 
(16 -8) 和 (16 -9) 的 可 行 域 的 极 方 向 ;否则 , 按 8 规则 确定 指标 ", 使 

7 = min{ 于 di > ol, 
如 果 r 行 的 基 变 量 是 加 , 则 转 步 4; 否 则 ,进行 步 3 

鲍 设 行 的 基 变 量 为 ww 或 za (对 于 某 个 1 了 上) ,变量 % 人 基 , 以 工行 
为 主 行 ,y; 对 应 的 烈 为 主 列 ,进行 主 元 消去 . 如 果 出 基 变 量 是 2, 则 令 ye = 
24 妇 果 出 基 变 量 是 三 , 则 7 =z 转 步 2; 

@ 变量 7 和 人 基 ,z 出 基 , 以 > 行为 主 ,% 对 应 的 列 为 主 列 ,进行 主 元 
消去 ,得 到 互补 基本 可 行 解 , 停 目 计 算 . 

例 16.1 用 Lemke 算法 求解 : 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


下 萌 ”的 束 最 优化 方法 


316 
min wi ~ Xs + 2%: — x 一 10x,, 
at, 一 3x -2x, -6, 
EA 57 2 和. 
解 ” 其 中 
| | 中 
-1 4 =- 10 
二 =[-3,-2],， &=-6, 
~ 2 -1 3 
w=|" | 4 | 
三 0 
-3 -2 0 
—1 
sa=[" |- 
-6 
6 
线性 互补 问题 是 : 
wi 一 2z +2 一 3z = 1， 
wi 十 5 一 4z。 -2z, = 一 10， 
tw + 3zl + 2z = 6, 
w O00,7=1,2,3,. 
wz = D0, i=1,2,3. 


引入 人工 变 基 am ,建立 下 玫 ( 表 中 ,[ ] 内 的 数字 为 主 元 率 ); 
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=zr=I: 达 代 得 


二 
由 
呈 | 


“lB | olF | ws 


由 于 zs =0, 得 到 互补 基本 可 行 解 


CW ,D2 ,1p3 I ,33 》 = 


因此 得 到 到 -T 点 (zi ,za) = (去 汪 ) 
由 于 是 凸 规划 ,因此 和 ~T 点 也 是 最 优 解 ， 


16.3 ”Wolfe 方法 


考虑 的 问题 
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其 中 ,和 质 阵 吾 是 正 尘 定 的 ,b> 人 0 
易 知 ,问题 等 价 干 求 出 一 对 向 量 x*,2 及 另 一 向 量 ,使 它们 满足 
有 A 二 二， 
Hx+Aun-v=-p, (16 -11) 
全 人 ， 工 宕 从 ， 
vx =0, 
其 中 最 后 一 个 条 件 称 为 互补 松弛 条 件 . 去 掉 这 个 互补 松弛 限制 及 变量 非 
负 约 东 之 后 ,所 余 的 问题 是 一 个 m +5 阶 m+2n 维 的 线性 方程 组 .下面 我 
们 在 此 形式 下 求 出 新 的 一 组 线性 互补 问题 的 解 . 
Wolfe 方法 分 为 二 种 形式 : 短 形式 及 长 形式 . 
1，Wolfe 方法 短 形式 : 此 形式 适用 于 吾 为 正定 短 阵 (或 者 p=0). 
引入 入 工 变 量 ,(15 -11) 可 改 窟 成 


4Y+H = 二， 
Hx +A'u-v+r -7 =—p, 
vv 
其 中 x,o 须 满足 vix =0. 
容易 看 出 只 要 了 到 人 工 变量 为 

i 学 b,, i 村 1,2,.…,m, 

立 1 一 《zt ,2 ,a 

wy a 

tl} i 

2 = — Pp,,*, = 人 0 车--Pi 衬 0,. 
| 1 三 1 之，… 下， 
a!") = 0 = p,, 若 -P < DO, 


其 他 变量 都 为 0, 便 可 得 到 初始 基本 可 行 解 . 

因为 mw 与 z ,za 在 约 东 条件 中 是 交错 开 的 ,所 以 我 们 可 以 分 两 个 阶 
段 进行 . 

第 一 阶段 : 令 =0,v=0( 则 此 时 vx =0) 得 
如 下 线性 规划 问题 
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总 +w= 上 ， 
3.t. Hx+z -xz =—p, 
Tw 
易 知 ,只 要 问题 有 可 行 解 , 则 必 有 st =0, 这 样 第 一 阶段 便 得 出 了 
马 = 办， 


Hx +z -zz = 一 下， 
大 宇 人 2 ,zx 宇 必 
的 一 个 基 可 行 解 . 
第 二 阶段 : 令 wm=0. 得 规划 问题 ; 
min s, = 了 (2 + ze ), 
Pe 
Hxr+AW-v+r -r=—p, 
0 
Xv = 0. 
显然 ,第 一 阶段 为 第 二 阶段 的 问题 提供 了 初始 基 可 行 解 . 第 二 阶段 在 
送 代 中 只 须 注意 x*,,v 两 者 只 能 有 一 全 是 基 变量 就 保证 了 * v=0 的 互补 
松弛 条 件 . 
2，Wolfe 方法 长 形式 
此 形式 解决 一 般 的 二 次 规划 问题 . 
机 olfe 方法 的 长 形式 求解 分 三 个 阶段: 首先 令 p ==, 使 问题 适合 于 应 
用 Wolfe 方法 短 形式 的 形状 ,用 短 形式 的 第 一 ,二 阶段 得 出 下 述 问题 的 一 


组 解 . 
当 p =0 时,(16 -11) 式 化 为 
总 下 二 四， 
Hx +A'n-v= 人 0, 
0x0， 
xv= 0, 
第 三 阶段: 问题 是 
min #4 =-K, 
凤 T = 上 8B， 
Hx + -mm+ip = 人 0, (16 - 12) 


了 0 


nv = 0. 
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在 第 二 阶段 选民 中 我 们 仍 使 用 单 红 形 方法 ,而 且 和 保持 x,,v; 中 只 能 有 
一 个 是 基 变 量 , 于 是 得 到 了 一 系 麟 点 . 可 以 证 明 : 只 要 416 -11) 有 和 解 , 则 
对 任何 选 代 次 数 上 ,一 定 有 we = min tr <0. 其 中 ,go, 是 单纯 形 法 的 判 
别 数 ， 
因此 只 有 两 种 可 能 :(1) 出 现 半 射线 情况 而 停止 六 2) 只 要 对 问题 加 
以 摄 动 ,不 出 现 (1) 的 情况 ,就 一 定 有 >1. 
定理 16.2 当 出 现 以 上 (1)、 (2 丙种 情形 时 我 们 都 可 求 出 当 产 =1 
时 (16 -过 ) 的 解 , 从 而 求 册 二 次 规划 问题 的 到- 工 点 ， 
证 ”对 于 选 代 点 ws 易 有 :<0, 于 是 以 上 为 主 元 询 导 进行 
选 代 一 定 有 
Mr > 下 
于 是 我 们 选 代 中 产生 了 点 刻 
WD ps T= 1,2,., 
日 = < A 
若 在 选 代 s 次 处 得 到 了 半 射 线 情 形 , 则 对 一 切 Az 关 0 ,一 定 有 
WE, + AX D+ 站 有 ,+ A HK, + AL, 


都 满足 (16 - 12). 我 们 取 


便 得 所 证 . 注意 ,其 中 和 污 , 尼 构成 了 极 方向 ， 
如 不 产生 半 射 线 情 况 ,总 可 以 有 上 关 1 于 是 到 A <i, 令 


1 -nm 
让 一 3 se 
HA Hr Hi 
不 难 证 明 有 
e020,g+B =1, 
Ops + Be, = 1 ， 
而 县 OT + B%,, oo: + Br,, tu + Bu,, or, + Bru,， 


一 定 满足 (16 - 12) ,定理 得 证 . 


16.4 序列 一 次 规划 法 


序列 二 次 规划 算法 是 将 二 次 规划 问题 的 求解 方法 推广 应 用 于 求解 一 
般 非 线 性 规划 问题 的 一 种 序列 寻 优 方法 . 
序列 二 次 规划 算法 的 基本 思想 是 ;在 每 一 兴 代 点 x”, 构造 一 个 二 次 
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规划 子 问 题 ,以 这 个 子 问 题 的 解 ,作为 选 代 的 搜索 方向 ,并 沿 该 方向 作 


一 维 搜 索 , 即 
tt) xr 十 ad, ， 
得 x“'", 重复 上 述 迭 代 过 程 ,直至 点 列 {x (=0,1,2,…)| 最终 通 近 
原 问 题 的 近似 约 东 最 优点 工 . 
对 于 具有 线性 约束 的 非 线 性 规划 问题 : 
de (16 - 13) 
总 注 加 ， 
若 再 一 迁 代 点 x" 处 ,对 目标 栖 数 f(x) 作 Taylor 展开 ,对 其 截断 到 二 
阶 ,得 
Fx) = Fx) + VAr x-x + (x x TH (xr-r"), 
f(x) BA) 0 oCx'") 
Dx dr dr Bx 着。 
a fx ) a fx) 于 交合 ) 
其 中 ， H, = dX 0X1 2 OF, x, 
BF(xzD)》 BR) Fx) 
x, Or Br ar: dr- 


为 点 x 处 的 Hesse 矩阵 . 
这 样 我 们 便 得 到 了 问题 (16 - 13 ) 的 在 选 代 点 ”处 的 一 个 近似 二 次 
规划 问题 


1 
min Q(y) = 了 了? Hy +y WAY)， 


st avy0, iel,, 
I | 5, i=1,2,,n, 

其 中 y=x-x ,= ii| ET a i =1,2,.…,ml, 
利用 前 面 的 方法 求解 上 述 的 二 次 规划 问题 ,得 其 最 优 解 了 

算法 16. 2 

名 置 并 =Di 

国 求 1= 和 gz =6,,i=1,2,,m!; 

国 若 L = 所 , 则 令 -YVAxz) = 肌 , 转 名; 否则, 转 志 ; 

二 求解 子 二 次 规划 ; 


min 总 (7y) = 37' Hy 十 多 VAilx'™ ) ， 
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38.t. gy 0, i1EI 
[|| 这 
得 其 最 优 解 y”; 

加 车 上 | 二 s, 则 x =x ,停止 ;否则 , 令 xD =x 人 wd, = 
min|w ,ut, BAX trud,) =min f(x tudi},u =min{B,) ,st. oa; 
(x + 有 yy) =6,,iEL,, 其 中 1=|ilary <0,ie 1 ,2 ,ml AD}, 邻 = 
+1, 转 名 . 

对 于 非 线 性 规划 问题 : 

min A(x), x ER’", 
| h(x} =0,7=1,2,..,1, 
gx) 0 = 1,2,.,m. 

由 其 算法 思想 可 知 , 序 刻 二 次 规划 算法 的 关 链 是 构造 并 求解 原 非 钱 
性 约束 问题 的 一 系列 二 次 规划 子 问题 . 而 在 选 代 点 x 中 构造 的 子 问 题 
可 为 : 

i Fa' Hd, 


st Ax) + [VAhxD) Td =0,7 = 1,2,.,1, 

Ex + [Vax )]d>0,i= 1,2,.,m, 
式 中 ,搜索 方向 = [da 中 :由 "为 变量 ,VV f(x 了 ,VY h (xy, 
8#.(x" ) ,下 , 均 为 确定 的 量 . 因此 ,该 子 问题 是 一 个 以 了 为 变量 的 一 次 规 
划 问 题 ,其 中 的 吾 , 是 Lagrange 函数 


L(x ,wv) = A(x) 一 2 Vhs (x) 之 g(x), 


在 点 x' 的 Hesse 矩阵 , 即 有 
H, = ViL(x' 下, 了] 


. mm 
= VA ) - Du Vih (x ) 一 > nu Vig (Cr), 
+=1 t= 


由 于 按 此 式 计 算 Hesse 矩阵 豆 , 非常 困难 , 故 序列 二 次 规划 算法 是 采用 前 
面 的 变 扩 度 法 逐次 由 变 尺 度 矩 阵 4 构造 变 尺 度 矩 阵 4 来 通 近 Hesse 
矩阵 下 的 , 其 先 代 公式 为 

+， 
其 中 ,A4, 为 校正 矩阵 , 且 有 
[4 AS'® [AS*]T 


A ArT AA + [AS™ ]' A 
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式 中 ， Eb =x¥ "+ rr 。 
8 
选 代 开始 时 ,一般 可 取 ,= 
因 序 列 二 次 规划 法 中 采用 了 变 尺 度 方法 构造 Hesse 和 矩 阵 , 故 也 称 之 
为 钢 束 迹 尺 度 法 ,同时 也 具备 了 闪 尺 度 法 的 优点 . 
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20 世纪 50 年 代 , 为 了 解 岂 多 阶段 决策 过 程 的 最 优化 问题 ,美国 数学 
家 贝尔 最 (Bellman) 等 人 提出 了 解决 这 类 问题 的 动态 规划 方法 . 多 阶段 次 
策 问 题 是 一 类 离散 系统 的 控制 问题 . 半 个 世纪 以 来 ,动态 规划 在 理论 , 方 
法 和 应 用 上 均 取 得 了 新 的 进展 ,成 为 解决 动态 优化 问题 的 重要 方法 ， 

多 阶段 决策 过 程 是 指 某 一 过 程 按 时 间或 空间 顺序 分 为 若干 阶段 ,而 
决策 序列 是 在 这 些 阶 段 中 依次 做 出 的 . 例如 经 济 发 展 规划 的 制定 分 成 各 
个 时 期 ,而 每 个 时 期 的 目标 ,措施 等 是 依次 做 出 的 ,使 最 终 目标 达到 最 优 . 

图 17 -1 就 是 一 个 多 阶段 (n 段 } 类 策 过 程 , 易 知 , 当 各 个 时 期 的 控制 
规律 4.(i=1,2,…) 给 出 后 ,状态 规律 x,(i=1,2,…) 就 随 之 确定 了 ， 


HW 中 uy 
xo ti0 Xl 1 x Xr A 4+ 


图 说 -1 


离散 系统 过 程 显然 是 一 个 多 阶段 决策 过 程 ,而 用 动态 规划 求解 这 种 
决策 过 程 的 基本 思想 是 最 优 性 原理 本 章 通过 了 两 全 引 例 (最 短路 问题 和 
多 阶段 资源 分 配 问题 ) 分 析 多 阶段 决策 系统 的 基本 概念 和 求解 方法 . 


17.1 多 阶段 决策 问题 ( 引 例 及 相关 基本 概念 ) 


例 17.1 最 短路 问题 
从 4 出 发 到 达 终 点 4 ,中 间 必 须 经 过 三 个 阶段 ,如 图 17 -2 所 示 . 


图 17 -2 


第 一 自在 4 :BI , 中 任 选 一 个 ;第 二 自在 4, ,8B, ;C2 中 企 选 一 个 ;第 
二 段 在 4, ,8, 中 任 选 一 个 . 图 中 数字 表示 连接 两 点 之 长 ,两 点 间 光 连 线 囊 
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示 它 们 之 间 不 能 相通 . 问题 是 :选择 一 条 从 ho 到 4 的 路 径 , 使 其 总 长 为 
最 短 . 

这 是 一 个 定期 多 阶段 决策 问题 , 即 阶段 数 固定 ,如 本 例 中 为 四 阶段 组 
成 的 网 络 . 

初 态 : 以 变量 z 表示 ,会 一 个 状态 4o1 

第 一 段 : 以 变量 + 表示 ,会 41,B,C 三 个 状态 ; 

第 二 段 : 以 变量 x, 表示 ,会 41,B,,C; 三 个 状态 ; 

第 三 自 : 以 变量 4 表示 , 合 4;,8, 两 个 状态 ; 

第 四 段 ( 余 态 ) : 以 变量 * 表示 ,会 一 个 状态 4 

下 面 介绍 几 个 相关 的 基本 概念 : 

1. 状态 变量 : 记 为 *, 它 表示 第 上 段 的 终点 , 叉 是 第 上 +1 段 的 起 点 - 
其 取 值 集合 包含 有 限 个 状态 . 如 1 和 4,B4,Ci…, 瑟 | 在 例 17.1 中 : 

xol 网 络 的 初 态 , 第 一 段 的 起 点 ) 取 值 4,; 

x1( 第 一 自 的 终点 ,第 二 段 的 起 点 ) 取 值 集合 为 |4,,8,,C|; 

x2( 第 二 段 的 终点 ,第 三 段 的 起 点 ) 取 值 集合 为 {4,,B, ,C1; 

x( 第 三 段 的 终点 ,第 四 段 的 起 点 ) 取 值 集合 为 14,,B,|: 

x 第 四 有 段 的 终点 , 亦 即 网 络 的 终 态 ) 取 值 44- 

2.， 决策 变量 ;对 状态 x; 的 决策 称 为 决策 变量 , 记 为 u(x4). 苑 是 从 
x 转移 至 * ,1 所 作 的 选择 . 

例如 :w(x0) = woot) 取 值 4 ,B,C 
而 因为 ”wt41) 取 值 4 Cai = EC ) 取 值 4 ,县 > , C2. 

故 质 以 (xs ) 弃 可 到 值 4 ,Cs ,也 可 以 取 值 4 ,Ba ca 
可 见 对 于 同一 阶段 的 状态 4 ,中 ,Ci 可 做 出 不 同 的 诀 策 . 

3. 容许 决策 集合 : 即 决策 变量 取 值 的 全 体 . 对 于 状态 变量 x ,其 容许 
决策 集合 记 为 了 D(x,)， 

例如 ,因为 Di(41) = |4,,C1,D(B)= 14,,B,,C1 ,D(C) = 
1#,,B, ,C1 ,所 以 D(x) = 14,,C, ;A,B,,C,|. 

4. 策略 :对 于 一 个 含有 7 个 阶 自 的 决策 问题 ,任何 一 个 由 初始 状态 
转移 到 终止 状态 的 选择 , 称 为 全 过 程 策 略 ,简称 策略 . 记 为 po.,(*o}) 或 
po. 它 是 岂 个 决策 组 成 的 决策 序列 , 即 

pos = Fuo(wo) sw ) ,tn (xs ) |, 
在 图 17 一 2 中 ,pos(xo) = 4 和 ,有 | ,或 者 Pos (x0) = 1B,,4,,8,,， 
和 | ,…. 可见 从 初 态 x。 到 终 态 x 的 转移 有 多 种 选择 , 即 是 说 有 多 种 
策略 . 
5， 子 策略 :对 于 一 个 含有 m 个 阶段 的 决策 问题 ,从 初 态 *% 到 任何 一 
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个 中 间 状 态 x 的 转移 ,或 从 任何 一 个 中 间 状 态 到 绕 态 的 转移 所 慌 出 的 选 
择 为 子 过 程 策略 ,简称 子 策略 , 分 别 记 为 
Pos(xo) = aofwo) A CR) Wy Cx |, 
Pea) = {ume) HCN) 
6， 容许 策略 集合 :可 选择 的 策略 的 全 体 , 记 为 
Po (xo) = {Do (xo) ,D(z 有 (xz 抽 如 
P, ,txo) = | 4 ,A, ;A ,CB, ,A,; 
B, ,BB Cr AC B,C, ,Cl. 
7. 指标 函数 :衡量 策略 优 守 的 数 其 指标 , 记 为 
JazoyBo 一 一 从 2 出 发 ,采取 策略 po, 到 终 态 *, 的 指标 值 ; 
Jxo spo4) 一 一 从 xo 出 发 ,采取 子 策略 po, 到 第 卡 段 终端 某 状 态 的 指 
标 值 ; 
Je 一 一 从 和 出 发 ,采取 子 策略 中。 到 纺 态 x, 的 指标 值 ; 
L(x ss) 从 出 发 ,采取 决策 羽 , 合 系统 的 状态 转移 到 x;, ,的 
某 一 个 状态 的 指标 值 . 
在 图 17 -22 中， (46 ,poa) = A 130， 
J(Aospoa) =1(40,B,,A,,B, ,A) = 150; 
(A ,Po.) =J(A,B, ,A,,A, 4.) = 110. 
可 见 从 初 态 4 出 发 ,采取 策略 pe 向 终 态 4, 转移 ,由 于 4: 可取 不 
同 的 决策 序列 ,从 而 得 到 不 同 的 指标 值 . 
8&8， 最 优 指 标 及 最 统 策 略 : 指 标 函 数 的 最 优 值 称 为 最 优 指标 :使 指标 
函数 取得 最 优 值 的 策略 称 为 最 优 策 略 . 即 对 YYp,，, ,车 存 存 本 ,使 得 
Tx Pes) 宏光 有)， 
称 呈 "为 最 优 策 略 ;J(x :Pp ) 为 最 优 指标 . 
在 图 17 -2 中 ,由 于 
TAG,B, ,A ,A A) = J Ao, CsA ,A ,A ) 
= JUd CB ,BA,) = 110, 
因此 ,14 5B 和 和 和， Cd 44 A ,CB,,B,,A,| 均 为 最 
优 策略 ,它们 共有 相同 的 最 优 指标 值 110. 
9， 状 态 方 程 : 由 第 阶段 的 状态 变量 和 决策 变量 wi 完全 确定 了 第 
+1 阶 段 的 状态 xs ;系统 状态 的 这 种 转移 规律 讲 为 
Xi = Tx), {17—1) 
称 式 (17 -1) 为 状态 转移 方程 ,简称 状态 方程 , 在 例 17. 1 中 ,状态 转移 规 
律 即 状态 方程 由 网 络 图 确定 ,不 能 用 形 如 (17 - 17) 的 方程 表示 . 下 面 青 举 
一 个 可 用 解析 式 表 达 状 态 方 程 的 例子 - 
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例 17.2 多 阶段 资源 分 配 问 题 

设 某 TF 有 wo 侣 机 只 生产 4、8 两 种 产品 . 投入 7 台 和 机 器 生产 4 种 产 
前 , 纯 收 入 鸭 (7 万 元 ) ;投入 YY 台 机 髓 生产 旦 种 产品 , 纯 收 入 为 (7y) 
(万 元 ) , 且 g(t0) = 有 0) =0. 义 设 生产 4 .8 两 种 产品 ,机 器 的 年 折 损 率 分 
别 为 1 -ata EC(0,1)) 和 1--b(&8 E(0,1)). 间 在 5 年 内 如 何 安排 上 年 度 
的 生产 计划 ,才能 使 总 收入 最 高 ? 

上 述 问 题 可 分 为 5 个 阶段 人 =0,1:2.3,4) 第 上 阶段 是 其 第 下 年 末 
到 第 上 +1L 年 安排 生产 4 种 产品 的 机 融 数 量 . 

容许 决策 集 也 ,(z) = {ul10suw, wl. 

状态 方程 为 Ki = ONE + bx — i) = br + ta — PY 

[17 —2) 


17.2 多 阶段 决策 问题 的 数学 描述 


17.2.1 数学 模型 


设 有 一 个 由 个 阶段 组 成 的 动态 系统 ,其 状态 方程 为 
x = Tr, EE=0,1,:*,n—] 
其 中 mm 为 审 态 ,x*。 为 化 态 . 
给 定 指 标 函 数 J(xo,po,) ,从 容许 策略 集合 了 ,(xo) 中 确定 最 优 策略 
postxo) = Tu Cxo) ur CX) se 1) |. 
1) 实现 状态 转移 : 即 僵 * 从 xo 达到 %*,; 
2) 使 指标 消 数 乒 xo :po 达到 最 优 值 , 即 
Js Don) = opt., Txo, Pon), 
其 中 J(xo, po 可 以 表示 为 阶段 效应 之 和 , 即 


» 


Rnb El, 
其 中 L(%,,w) 是 系统 转移 到 某 一 个 ,1 的 指标 值 . 我 们 称 指标 函数 八 xo， 
Bo ,具有 可 加 性 . 本 章 仅 讨论 指标 哨 数 具有 可 加 性 的 多 阶段 决策 问题 ， 
17,2,2 Bellman 最 忧 性 原理 
在 例 17.1 中 ,利用 反 证 法 易 证 明 , 车 4, 一 B, 一 4, 一 B, 一 4 是 一 条 由 
A, 到 4 的 最 短路 , 则 BA,—=B A, :4,8 A, 分 别 是 由 B, 到 由 ,由 
4: 到 4A, 的 最 短路 . 上 述 事 实 正 是 20 世纪 50 年 代 美 国 数学 家 Bellman 等 
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人 提出 的 最 优 性 原理 . 
定理 17. 最 优 性 必 变 条 件 ) 在 一 个 具有 个 阶段 的 决策 问题 中 ， 
若 存 在 容许 策略 Be 。 = ja ,2 :满足 
上 Yo) ee opt JCxo ,Pos), 《17 一 3) 


Dn Po,atxo 
则 对 于 YT 和 En -1) ,po, 的 子 策 略 Pi = iui we!| 必 满足 
d(x pia) = opt | JE BPs,), {17 -4) 


Pr,nE Pk.at zy 


其 中 x? 是 由 po ,确定 的 第 天 有 段 的 状态 . 
证 ”不妨 假设 opt 为 min. 设 相 反 ,JCxr .Pi,) 天 min 了 (xzr ,Pia), 


则 几 存 在 Pes = {us Mela yt | 所 有 ze ), 


使 得 T(xe Pi,) < ixr Pris ). 
令 p = tu 1 Fe :Us sl ER si 人 
则 J{xo,p) = J(x0 Pos) + {x Pa. 


<J{xo,Po,) + Ix Pin) = d(xo,Po,), 
这 与 Be 为 全 过 程 最 优 策略 矛盾 , 即 (417 -3) 式 不 成 立 , 从 而 定理 结论 
成 立 ， 


17.2.3 动态 规划 基本 定理 


定理 17.2( 最 优 性 充分 条 件 ) 在 一 个 具有 阶段 的 决策 问题 中 , 容 
许 策略 po ,= ja ,2 ,2s_1] 是 最 忧 策略 的 充分 条 忻 是 ,对 于 Y(tl1 专 
k 志 Rn -1) 有 
(xo Pon.) 三 opl es {xo ‘Dos) + Opt J(E, Pren) - 


‘1l7—5) 
其 中 总 是 由 Poi; 确定 的 第 上 段 菜 一 个 终端 状态 . 
证 不 妨 假 设 opt 为 min- 
必要 性 : 因为 pe ,是 全 过 程 最 优 策 略 , 所 以 对 于 YYpo,S Po., 都 有 
用 Pr) < Ipo,), 
对 于 Wk(1 所 kn -1) , 设 Po 是 能 使 由 第 阶段 的 终端 开始 到 终止 状态 
的 指标 取 最 小 值 的 容许 策略 集合 - 对 YP'.E P'o,, 都 有 
所 可 I(x Po.,) 兰 J(Cxzo 下 0 + TOOXRL DS.) (17 -6) 
= xo Bo) + min T(E, Pi 
式 中 和 ,是 Po 的 子 策略 . 由 (17 - 6) 又 可 得 


Tipo,) ER min {xospPo.) + min 所 你 有) 


EP 
.EE PO Rt m0) Pin Pe al) 


C17 = 7 
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因为 Prylxo) = Po,(xo) ;区 (17 ~7) 式 又 可 写成 
J 了 CDpo 反 min {I(xo, Pos) 市 min J pin) 


E Pn Arsny 
Pu kE Posten py EP at i} 


(17 —8) 
另 一 方面 ,对 于 最 优 策略 p5,, 由 定理 17. 1, 应 有 
J{po,) = J(x0, Po:) + TR, Pen) 
=J(xopor) + min J Pr) 


pha Py.atir 


由 于 po; 二 Ptxo) ,由 (17 -9) 立 即 得 
Jtpo.,) = min {J(xo ,Po.s) + min J Dien) 
p 


EP ri 
PO.kE PDE0) kn PL} 


即 (17 -5) 式 成 立 . 
充分 性 ; 设 B 二 | ao :Ul »" a1 | 是 性 一 容许 第 上 略 . 对 YkCl EE 一 
1) 记 


《17 —9) 


pos 二 {0 i | Be, > 1 | 
设 x 是 由 po, 所 确定 的 第 上 阶段 终 态 , 则 
I(x Ps) a mL T(x ,Pin), 
显然 portx0) CPoilxo) ,从 面 
Tp) = jzo ,Po.s) + dR sDen) 


(x0, Dor) i ne T(x ms 


ka Pk nl kr 


学 min {J xo ,Pos) 十 tm _ xi 
PEE PrntEE 


PorE POstro 


W 


min {fx Por) + min [人 四] 


Po-kE Po.kt ro) EP 

由 (17 -5) 式 ,有 JE)727B ), 据 巨 的 任意 性 ,由 此 可 知 po, 必 为 最 优 
策略 - 

如 果 我 们 记 

Vx) = ep Tx Pra), k=0,1,",n-1, 
fr) = 0, 

则 由 定理 17.2 立即 竺 到 如 下 推论 

推论 17.1( 动态 规划 基本 方程 ) 对 于 一 个 = 段 决 策 问题 ,对 | 
kn -1),， 


W(x) = ,Pt Ls ts) + TS) |, C17 - 10) 


其 中 ,1 = T(x, ts) 
(x) 称 为 最 优 值 消 数 , 它 表示 从 入 的 任 一 状态 , 取 最 优 策 团 pi (X17 
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转移 到 终点 mm 的 最 优 指 标 . 

所 (B41) 表示 从 ,1 的 某 一 状态 各, , 取 最 优 策略 Pi,1., lx, 转移 到 
终点 %, 的 指标 . 

xsai 表 示 有 从 到 的 任 一 状态 ,了 湛 策 凡 转移 到 x; ,1 的 指标 . 

基本 方程 417 -10) 给 出 各 后 部 子 过 程 的 最 优 指 标 所 满足 的 弟 推 英 
系 , 即 是 说 , 若 已 求 得 系统 由 第 下 +1 段 终 端 某 状 态 转移 到 终止 状态 的 最 
优 指标 所 as ; 便 可 求 得 由 第 有 段 终端 某 状态 转移 到 终止 状态 的 最 
优 指 标 所 (st 


17.3 求解 多 阶段 决策 问题 的 动态 规划 方法 


例 17.3 最 短路 问题 

解 ” 利 用 基本 方程 (17 - 107 逆 向 递 推 各 阶段 的 最 优 决 策 、 最 短路 及 
最 短路 程 . 本 问题 的 基本 方程 为 

W(x) = | + Vtx)ls k=3,2,1,0, 


其 中 LOxuyai) 是 从 转 欧 至 ,i 的 某 状 态 芭 ,1 的 指标 值 ; 
Pt 是 从 如 ,转移 至 x 的 最 优 指标 值 ; 
i = Tr ). 
1， 解 第 3 段 (k=3) 
状态 : x 取 4,,B,; 
容许 决策 : 本 (4 ) =w(B,) =4,; 
容许 决策 集合 : DB; (4,) =D,(B,) = 1441 3 


Vt) = 0, 
1} F(A,) = Min ,| L(A, ,us) + V(tA,)l| 
= min (4 aa ) = 工 (4 A) = 30., 

由 此 得 :4, 一 4, 的 最 短路 程 为 30; 对 应 的 最 优 决 策 &(4;} =4,; 最 短 
路 沟 太一, 

2} V(tB) = min, ,Lt Bs :2 ) = LB,,A) = 40， 

由 此 得 :8, 一 4， 的 最 短路 程 为 40; 对 应 的 最 优 决 策 wy (B,) =43 最 
短路 为 中: 一 44. 


2. 解 第 2 段 ( 直 =2) 
状态 : Ty 取 4 ,B，, ， 
容许 决策 : 由 (人 4:) = 由 (8 ) =u (tC) =A,B,: 
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容许 决策 集合 : D,(4,) =D,(B,) =D,(C,) [A ,B, | 3 
1) (A) = mn seta) + Fst, ) | 


Dat a 
= min{f L(A,, A) + VCA) ,LtA,,B) 十 VtB,}! 
=min|10 + 30,40 + 401 = 40. 
由 此 得 :4, 一 4, 的 最 短路 程 为 和 ;对 应 的 最 优 决 策 za (442) = 而， 
af 4 ) =4; 最 短路 为 4 一 4 一 4 
2) VB,) = min ,Ba) + V(t,) | 


waE Dal By 
=min|L(B,,A) + V(tA) ,LB,,B,) + V,(B,)| 
=mini60 + 30,30 +40 = 70, 
由 此 得 :8, 一 4, 的 最 短路 程 为 70; 对 应 的 最 优 决策 us (Bs) = 8B,， 
wa(B;) =443 最 短路 为 B,.—+B, mA,. 
3) FG) = min Ca va + PT 


了 后面 2 
=min|L(C, ,4 ) + VA) LOC, ,BY + 区 【| 
= mint30 + 30 ,30 + 40| = 6€0. 
由 此 得 :上 4, 的 最 短路 程 为 60; 对 应 的 最 优 次 策 (Ci) =4,， 
(A) =444 最 短路 为 C2 一 4 一 4 
3， 解 第 1 段 (*=1) 
状态 :zi 取 由 ,号 .Cn 
容许 决策 : ai (4 ) = ,C,， 
utB) = C0) =#,,B,, Ci 
容许 决策 集合 : D1(4,) = 14, ,C31， 
DB)=D,(C.,) = 1A,,.B,,C,!. 
1》 页 (4 = min {LAs ) + Vz,)| 


ue DA 
= min{ LA A) + VlA) ,LAL Ca) + VCC,)| 
=min170 + 40,50 + 801 = 110. 

由 此 得 :4, 一 4, 的 最 短路 虱 为 110; 对 应 的 最 优 决 策 mu (4:) = 年， 
(Ah) = 让 (4 =A A) = Cs C) =A,,u (4,) = 44; 最 短路 
为 4 一 4 一 4 一 中， 和 A 

2) VtAL) = [LCB vi) + VC2,)| 


《号 1 
= Inia | Lt(B, ;44 ) + Vd) ,LB,,B,) 
+ VB), LB ,CGC) + V(C,)| 
-min{30 + 40,20 + 70,40 + 60} = 70. 
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由 此 得 :B| 一 +4, 的 最 短路 程 为 7 加; 对 应 的 最 优 诀 策 如 1 Bl) = A,,， 
(有) 二 4 ,uA ) = ;最 短路 为 8 一 "A, 一 4A, 一 A,. 
3) 类 似 的 讨论 可 得 
WC) = minlL(C ,mm) + W(x,)} = 80. 
最 短路 为 Ci 一 4, 一 4, 一 有 4 和 CC 一 B, 一 b, 一 A,. 
4. 解 第 0 段 (£=0) 
xo = Ao DotAo) = {4B,,0}, 
Tokyo = min L(A ,un) + V, (2 ) | 


weE Do An) 
=min{ L(Ao, A) + VA EEC) 
+ VB) LAC) + {Cc,)! 
= min{f20 + 110,40 + 70,30 + 80| = 110. 
最 短 足 共有 3 条 ;0 一 BB 一 A 一 A 一 和 A 一 Cy 一 A 一 一 4 和 A 一 
CB,—B,—B,. | 
在 例 17.1 中 ,为 了 求 出 最 优 路 线 和 最 优 指 标 也 可 以 采用 “ 窃 举 法 ”， 
即 逐 次 求 出 4 到 4, 的 各 种 可 能 的 路 线 及 其 指标 值 ,通过 比较 指标 值 确 
定 出 最 优 路 线 和 最 优 指标 . 一 般 来 说 , 穷 举 法 要 比 动态 规划 方法 计算 量 大 
得 名. 以 例 17.1 来 说 ,按照 穷 举 法 要 进行 16 次 比较 运算 和 4 次 加 法 运 
算 ,而 动态 规划 方法 只 需要 10 次 比较 和 17 次 加 法 运算 . 对 于 阶段 数 较 
名 ,各 阶段 状态 较 多 的 问题 ,这 个 差距 重 为 显著 . 另 一 方面 ,动态 规划 方法 
的 计算 结果 较为 丰富 ,不仅 得 到 了 全 过 程 从 4, 至 4, 的 最 短路 线 和 最 短 
路 程 ,也 得 到 了 各 中 间 状 态 到 4, 的 最 短路 线 和 最 短路 程 ,这 对 于 很 狠 实 
际 问 题 来 说 往往 是 很 有 用 的 . 
例 17.4 名 阶段 资源 分 配 问题 
在 前 述 例 17.2 中 , 设 x0=1 000,g(yY) =5y,h(y) =4y,a=0.8,b = 
0.9, 状态 方程 (17 ~2) 应 为 
NL = 0. Bu + Ox 一 = 0.9x, -0.1u. (17-11) 
解 ” 在 本 问题 ,基本 方程 为 
V, (x) = a | LUnsaa) +t Pt} 
= max {Su, + d(x — ue) + PCR}, 
Vxs)} =0, 
其 中 人 ,1 =0.9x, 一 00. 1a,. 
1. k=4 


V(r) = max {Su + d(x ~ 2) = max fu, 十 二 
[i 四 6 
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因为 +4%x 是 us 的 增 函 数 , 所 以 在 [0,zx4] 的 右 端点 取得 最 大 值 ， 
其 Y 《xs》 =$zx ,相应 的 决策 为 由 =%: 
了 .此 二 了 


了 《wa3) + 4(x3 — ua) 二 Ti) 
= max |u + 4x, + $2, | 


1 


= max [us + 4x; + SCO, Ox — DO. lu,) 


= max |8. 5x + 0.5us| = Ox, 
相应 的 决策 鸭 wy = x*;. 
3. 天 =2 


V,{ xs) = max {Sw + 4(x, — us) + Vy (FR)} 
入 


= max 0. 1u, + 12.1x,!: = 12.2x,, 


相应 的 决策 为 ua = x%,， 
4, 天 =1 


【TD) = max {Su + d(x — 下 + V(t) | 
大 二 | 旦 和 | 


= max | — 0.22u, + 14.98x,}. 


因为 -0.22u, +14.98x, 是 uu, 的 减 函 数 , 破 在 [9,x;] 的 左 端 点 取得 
最 大 值 , 即 (x1) 二 14.98x, ,相应 的 决策 为 4 = 人 0. 
5, =0, 辐 理 得 
Volxo) = max {0.498u, + 17.482xo) = 17.482xo, 


相应 的 决策 为 uo =0. 
因为 zx =1000, 故 由 状态 方程 (17 -11) 得 

x = 了 ,9xo -0.1 = 900( 台 ) 
x; = 0.9xz -0.1u, = B10( 台 ); 
x = 0.9x, - 0.1u, = 648( 涌 ); 
x = 0.0x -0.1a = 518.4( 台 ); 
xs = 0.9x -0.1u = 414.72( 台 ) 

《 注 :x =518.4 台 中 的 0.4 应 理解 为 有 一 台 机 器 只 能 使 用 0.4 年 即将 报 
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废 , 同 理 414. 72 全 也 应 如 此 理解 ). 
结论 :各 年 安排 生产 商 种 产品 的 机 器 台数 如 表 17 -1 所 示 : 


年 虚 
生产 4 种 
产品 机 器 数 


生产 种 
产品 机 器 数 


五 年 的 最 高 收入 为 局 (m) = 17.482x。 = 17 482( 万 元 》=1.748 2 
忆 元 ， 
最 后 我 们 将 求解 例 17. 2 的 计算 过 程 好 纳 为 如 下 步 标 ， 
1. 由 动态 规划 基本 方程 
os = maxi1su +4fx -1 + Valxn)|, 


V(xsy) = 0. 
求 得 多 阶段 决策 问题 中 类 策 次 量 的 形式 解 : 
ue = Xa = = aU = 0,u =0. 


2. 将 此 形式 解 代 入 状态 方程 得 4" 的 相应 状态 : 
x = 900, x: = B10, x = 648, x? = 518.4, x; = 414. 72， 
3. 再 将 * 代入 形式 解 得 问题 的 反馈 解 : 

ue = Ou = 0,u = B10O,u = 648,us = S18.4. 


17.4 多 阶段 决策 问题 实例 分 析 


在 企业 管理 中 ,生产 库存 是 一 个 普遍 存在 的 问题 . 若 某 产品 库存 量 过 
小 , 当 销 售 其 大 幅度 增加 时 ,将 形成 脱销 ,使 企业 失去 了 多 获得 利润 的 机 
会 ; 若 库存 量 过 大 ,除了 需 付 出 保管 费用 外 ,还 要 积压 资金 ,不 利于 企业 的 
发 展 ,因此 库存 管理 对 企业 和 国民 经 济 都 具有 重大 意义 . 库存 量 的 变化 除 
受 销售 量 的 影响 外 ,还 与 产品 生产 紧密 相连 ,因此 必须 综合 地 研究 库存 系 
统 的 管理 问题 . 下 面 列举 离散 系统 库存 的 数学 模型 ,它们 是 多 阶段 决策 系 
统 的 典型 问题 . 

例 17.5 生产 一 库存 管理 系统 

设 xD 表示 某 厂 第 守 季 度 ( 成 月 ) 的 生产 产品 的 数量 ; 

(让 表示 该 厂 第 i 季度 (或 月 ) 的 库存 量 ; 
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St 由 表示 该 厂 第 i 季度 (或 月 ) 的 销 肯 量 ( 已 知 ). 
显然 ,控制 变量 wt 让 ,状态 变量 x{ 训 与 外 生变 量 5 让) 之 邮 应 满足 如 
下 状态 方程 : 
wi+1) = x(i) t+u(i) -Sn (i = 1,4 或 i = 1,12). 
(17 - 12) 
现在 的 问题 是 ;在 满足 状态 方程 (17 -~ 121 的 条 件 下 , 求 每 个 季度 (或 
月 ”的 最 优生 产量 zx (和 相应 的 最 优 库 存量 *” (i) ,使 得 生产 费用 与 库 
存量 用 之 和 为 最 小 . 由 给 定 的 比例 系数 a,8 和 阶 数 局 ,更 , 求 2 (让 和 
# {让 使 得 


了 = (ou + Bx(i}™) = min. 《17 - 13) 
车 生产 量 和 库存 量 都 有 限 , 还 应 加 上 约束 条 件 : 
Oaui eNO0ex(i) eH,i=-1,4 或 i = 1,12, 
例 17.6 库仑 一 销售 系统 
若 某 商店 , 货 的 库存 最 多 可 有 好 单位 商品 ,已 知 有 存货 好 单位 ,并 预 
知 该 商品 的 进 价 和 些 价 . 
设 x( 门 为 第 i 月 存货 量 ;u() 为 第 i 月 此 出 量 ;5( 站 为 第 i 月 进货 量 ， 
则 状态 变量 *( 间 与 控制 变量 &(i) ,vz( 让 之 间 满 足以 下 关系 : 
x(i+1) = x(i) + ui) — w(ti)}, (17 -14) 
约束 条 件 : Outi) Ev(x), 
Ou a ri) ui)), k=1,,N, (17 -15) 
现在 的 问题 是 :满足 状态 方程 (17 -14) 及 约束 条 人 忻 (17 -15) 的 情形 
下 , 求 最 优 策略 a" ( 门 和 wv* (站 使 商品 获得 最 大 利润 ,即使 指标 函数 


一 ps Cpu) — goti))] = max, (C17 -16) 


其 中 ps 为 单位 商品 的 售 出 价 ,gq, 为 单位 商品 的 购 人 价 . 该 问题 中 ,每 哈 段 
有 两 个 决策 变量 & 5 ,民间 

例 17.7 购销 一 一 生产 一 一 库存 系统 

当 生 产 企业 面 对 原 材料 ( 零 配 件 } 的 购 进 、 生 产 或 加 工 ,原材料 ( 零 配 
件 ) 及 企业 产品 的 库存 ,产品 销售 等 一 系列 问题 时 , 则 整个 系统 必须 分 解 
为 两 个 于 系统 来 处 理 : 

1， 购 存 产 子 系统 :该 子 系统 实施 以 产 订购 的 最 优 策 将 , 即 在 确定 生 
产量 的 前 握 下 实施 对 原材料 的 订购 和 库存 的 管理 . 

设 wl 让 表示 第 i 时 刻 的 进货 量 ;x( 让 表示 第 i 时 刻 的 库存 量 ;5t 门 表 
示 第 上 时 肇 的 生产 量 ,状态 变 量 *() ,控制 变量 efi 及 已 知 外 生变 量 
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5S( 由 满足 状态 方程 
z+t1) = x(i) + wti) -5S( 让 ( 奸 生 变量 5S(i) 为 预测 值 ). 
【17 —17) 
现在 的 问题 是 :确定 最 优 订 货 批量 x* (站 及 最 优 库存 量 * 《六 ,使 进 
货 量 (让 趋 于 ww" ( 门 ,实际 库存 x( 丫 趋 于 x (站. 即使 指标 明 数 


J = FLa(zti) "(0))* + Puli) -wi))] = min, 


(17 -~ 18) 
其 中 ,a,B 为 加 权 系 数 . 
当 原 材料 ( 零 配件) ,产品 为 名 种 时 ,该 方程 的 变量 为 向 量 ,a .有 亦 为 
向 量 - 
2. 产 存 销 子 系统 :该 子 系统 实施 以 销 定 产 的 最 优 策 团 . 即 在 已 知 销 
售 量 的 前 提 下 实施 对 生产 产量 和 库存 莉 的 管理 . 
设 uf 门 表示 第 i 时 刻 的 生产 量 ;x (让 表示 第 时刻 的 库存 量 ;3( 门 表 
示 第 ;时 刻 的 销售 量 , 
控制 变量 xfi ,状态 变量 区 详 及 已 知 外 生变 量 St 让 满足 状态 方程 ; 
A+ 1) =<xfiy +afil -Si 《外 生变 量 S(i) 为 预测 值 ). 
(17 -~ 19) 
现在 的 问题 是 :确定 最 优 订 货 批 量 (及 最 优 库 存量 * {让 ,使 进 
货 量 afD 趋 于 “= (i) ,实际 库存 *( 门 趋 于 ** (让 .即使 
7 = 之 [PCxfE -< Ci)) + guti) -六 ] = min， 
(17 - 20) 
其 中 ,Pp,9 为 加权 系数 . 
3， 两 个 了 于 系统 之 间 的 关系 
第 2 子 系统 得 到 的 最 优 控 制 二” (是 确定 第 1 子 系统 的 外 生 恋 量 
3S( 让 的 依据 . 求解 顺序 应 是 先 由 销 信 和 额 S$(i) 的 预 调 值 求 出 第 2 于 系统 的 
最 优生 产量 =" (站 ,以 此 定 出 第 1 于 系统 的 生产 其 5(i) ,再 求 出 第 1 子 系 
统 的 最 优 购 货 量 (由. 
下 面 我 们 和 用 动态 规划 的 基本 方程 (17 -10) 给 出 例 17.3 的 求解 
步 又 . 
解 1， 确定 模型 中 的 参数 a,8,k ,k. 
在 (17 一 1 中 ,a 如 与 生产 成 本 有 关 ;B8,k, 与 位 存 成 本 有 关 . 这 些 参 
数 通 常用 相关 的 经 验 公式 给 出 ,在 本 例 中 取 训 =1,k,=1,a,B 为 给 定 
常数 . 
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2. 销售 量 SC (=1,…, 太 ) 的 预测 . 
设 兰 一 年 分 成 六 个 时 段 , 音 接 月 份 考虑 入 =12, 撤 李 节 N=4, 通 过 搜 
集 广 销售 产品 的 历史 数据 ,用 所 人 台 、 回 归 方法 (中 长 期 预测 ) 或 用 时 间 序 
到 分 析 法 (短期 预测 ) 可 以 预测 出 模型 中 所 需要 的 销售 量 3 
3. 库存 初 值 *(1) 上 及 狼 值 x(N +1) 的 确定 . 
第 一 时 段 初 产品 的 库存 认为 是 已 知 的 , 即 初 值 x(1) =z, ,现在 要 研 
究 终 值 鼠 立 +1) 的 确定 , 即 第 六 时 段 末 的 库存 ， 
设 每 一 时 上段 末 的 库存 等 于 下 一 时 上 段 初 的 库存 , 即 
2 = x + 1)g, 
故 有 X(N+1), = x(N). 
XN) 二 与 预定 货 水 平 有 关 , 我 们 把 x(N+1) 认 为 是 x*(N) 最 后 一 次 
订货 的 量 仁 预 定 水 准 志 , 即 令 xtN+1) =4， 
4. 按 基本 方程 求 决策 变量 wl 让 的 最 优 解 的 形式 解 4" (让 和 相应 的 
状态 x"( 丫 ,进而 确定 形式 解 的 反馈 解 . 
具体 计算 过 程 归 纳 成 以 下 算法 . 
算法 17.1 
他 准备 初 值 z(1) = ,x(CN+1) =A,S(i) =5,,i=1,2,.,N. 
加 计算 ww (的 形式 解 人 = 站 ,让 -1 1) 
(1) 解 第 六 段 的 基本 方程 (x(N)) =min|au (N) +Br(F)]， 
(17 ~ 21) 
即 求 a" (入 ) 的 形式 解 以 及 对 应 的 最 优 列 数 PT Cs) 
由 第 六 暇 的 状态 方程 x(Y+1L1) =x(N) + wut} 一 Sw 以 及 库存 徐 值 
条 忻 xtN+1) =44 得 xw(N) +wutN) Sy, =4. | 
满足 此 方程 的 解 u(N) 只 有 一 解 , 亦 即 最 优 决 策 w” (NN) = 3% 一 *(N) 
+ 4. 
特 w CW) 代入 (17 -21) 得 
VxN))Y = ea[S — x(N) + A + Bx(N). (17 - 22) 
《2) 解 第 六 -1L 段 的 基本 方程 
Vr (xtN-1)) = minloaw (tN -1) +Br(N -1) +V (x(N))!, 
{17 — 231 
即 求 a* (NN -1) 的 形式 解 以 及 对 应 的 最 优 函 数 VY (x(N 一 1)). 
所 第 入 -1 段 的 状态 方程 xtN) =z(N=1) +ulN-1) -Sri 
将 xCN) 代 入 (17 -22) ,再 将 万 (x(D) 代 和 (7 -23), 则 Fi (x(tN- 
1) ) 的 表达 式 中 由 合并 -1 ,x(N -1) 以 及 常数 a,B,5r_1,Sx; 再 由 
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51 " }! 


也 (IT 0' 求 解 u 《NN -1) 的 表达 式 , 它 是 *(W -1) 的 多 项 式 ,进而 
记 《x(N-1)) 也 是 x(-1) 的 多 项 式 . 


进行 至 第 (N -1) 步 ,已 求 得 nu (2) 的 形式 解 ( 它 是 x(2) 的 多 项 式 ) 
以 及 对 应 的 最 优 函 数 Vy_1(x(2))( 它 也 是 x(2) 的 多 项 式 ). 
(六) 解 第 1 段 的 基本 方程 
Vi {xz(1)) = minioa (1) + Bx(1) + Vr (x(2))}, 
(17 -24) 
即 求 2" (1) 的 形式 解 以 及 对 应 的 最 优 函 数 Vs (x(1)). 
据 第 1 段 的 状态 方程 x(2) =x(1) +w(1) -3 将 <(2) 代 和 售 Cs 


(2)) 中 ,再 将 所 -Kx(2) ) 的 表达 式 代 人 式 (17 -24) ,再 由 名 二 =0 解 


得 & {1) 的 表达 式 , 它 是 xt1) 的 多 项 式 , 进 而 Vy (x(1)) 亦 是 x(1) 的 多 
项 式 ( 因 为 xt1) =x=0 为 已 知 , 故 z (1) 为 可 知 ). 
加 计算 相应 的 状态 x (站 以 及 (i=1,2,…, 放 ) 的 反馈 解 . 
C1) x (1) =x(1) =xo,; 由 2 的 第 计 步 得 到 4 (1) 的 反馈 解 ; 
(2) 列 出 第 1 时 段 的 状态 方程 
xt2) = x(1) + u(tl) - S(1), 
将 x (1) ,wu (1) 代 人 得 x "(2); 骨 代入 2 的 第 六 -1 步 得 天 ww"(2) 的 反 
局 解 ; 
{3}) 列 出 第 二 时 段 的 状态 方程 
x(3) = x(2) + N(2) - S$(2), 
将 x (2) ,8 (2) 代 人 得 zx" 13) 再 代 人 2 的 第 点-2 步 得 烈 2 (3) 的 反 
馈 解 ; 


《AD) 列 出 第 站 -1 时 段 的 状态 方程 ， 
x(N) = x(N-1) +uN-1} -SN -1), 
将 x"(N-1),u" (让 -1) 代 人 得 x (NN) ;再 代 人 加 的 第 1 步 得 到 (NN) 


的 反馈 解 
17.5 离散 线性 二 次 型 系统 的 动态 规划 方法 
设 线性 定常 系统 的 状态 方程 为 
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kk = 
人 +1) - Ar(E) + Bu(k), (17 25) 
XO =x", k=0,1,-.-.…,n-1. 
指标 函数 为 

1 = xz(njrSor(n) + T [x(E)TQrE) tu(k) TRu(k)], 


(17 — 26) 
其 中 起 为 nxn 阶 常数 矩阵 ,8 为 nxr 阶 常数 算 阵 . S。 和 旭 为 nxn 阶 半 
正定 常数 矩阵 ,如 为 rxr 阶 正定 常数 和 托 阵 ， 
状态 变量 x() 为 5 维 向 量 ,决策 向 量 wu( 上 ) 为 7 维 向 量 . 
现在 的 问题 是 : 求 最 优 决 策 uw (6 及 相应 的 状态 (上) ,使 得 目标 J 
达到 最 小 . 
解 系统 (17 - 妇 ) 17 -26) 的 动态 规划 基本 方程 为 ; 
on = minfx{(k) Or(k) + mk) Rautk) + Vix(k +1)!, 
VOXxCn)) = XA) Sx(n), k=n-1,n-2,..,0. 
(17 - 27) 
其 中 5, =Stn) (给 定 },r(E+1) 据 (17 -25), 由 x(k) ,ul 上 ) 确 定 . 
根据 状态 方程 (17 - 25) 和 基本 方程 (17 -27) 可 以 推导 出 如 下 递 推 
式 ( 推 导 过 程 略 ): 
LR) = [B'S(F +1)B+R]) BSE +1)A, (17 -28) 


SEE) = [A BL(E)Y]'S(E + 1)[A — BLCEY] 

+ Lk)'RLCE) + OD, {17 - 29) 
下 《下 = LF)xCk), (17 - 30) 
VOrCE)Y = x(h) SC(EIxCkY. (17 - 31) 


据 (17 -28) ,(17 -29) 道 向 递 推 可 得 ， 
Lin 1 ) ， L(n 一 2) ， 机 Lt(1), L(t0), 


Stan 1), Sn 2), , Stl1), SO). 
递 推 过 程 按 并 行 方 案 进行 : 
SCR) 三 3 一 下 一 1) Stn- 1) orn -2) S(tn -2) -> 一 
工 (0) 一 入) ， 


求 出 五 ( (=0,1 ,RR 一 1) 后 按 如 下 联 立 公式 计算 a (Ck) (EE=0,1， 
nk (k=0,1 ,ny 
rx{tk+1) = AxCk) + Bu(k), {17 — 25) 
nu (KE) = LRYr(k), (17 - 30) 
EF =0,,,n-1, 
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其 中 (8) (上 k=0,1,…,n -1) 为 给 定 值 .上述 计算 过 程 归 纳 成 为 如 下 


算法 : 
算法 17.2 
OD 给 定 初 值 x*(0) =x" ,SS(n) =S6(#5(0)) 及 4,B8,0,R,x(n); 


回 邻 k=n-1,n-2,…,0 计算 


Lk) = (B'SC(E +1)B +RI "B'S +1)A, 
SC(E) = [A -BLE)ITSCE + 1)[A - BLOK)] + (FRLCK) + 


得 到 上 (Ek) (k=0,1,…,n -1); 
辐 令 上 =0,1,…,n-1 计算 wu” (4) 的 形式 解 
wu“ (hk) =— Lek)xtk), 


其 中 (0) 为 已 知 ,X( 有 ) (k=1,…,n 一 1) 为 未 知 ; 
@ 给 定 x(n) ,将 形式 解 "(上 ) 代 人 状态 方程 (17 -25) , 求 *"(&) 


(k=rn-l ,rn -2,.…,1), 
计算 过 程 图 示 如 下 : 


u" {nl = -Lin-lxtn—1) 和 
x(n) eh xX” (Cn 
“1) = -Ltl 1 

u" (1) OY 


和 代 人 (17 -25) 
全 将 zk TtE=01 ml) 代 人 形式 多 uw {k= -L(tk) 


1) u” (no-2}= Lin -2)rtn-2) 
代 人 (17 -25) 


xz" (kk) , 求 出 反馈 解 u" (CE) (X=0,1,… ,rn-1); 
合 据 (17 -31) 计 算 最 优 吕 标 值 
J = TOr (0)) =x (0) S(O0)x" (0). 
例 17.8 已 知 线性 定常 系统 的 状态 方程 为 
Xk+1) = or(k) + butky, 


Ee = Nos k = 人 0,1,2, 


性 能 指标 为 了 = 了 [x(k) + cw (&)]， 求 使 了 取 最 小 值 的 最 优 决策 


u’ (Ck) (k=0,1,2). 
解 (1) 给 定 初 值 x(0) =x",S(3) =5$。=0 及 4=a,B8B=4b,Q=1， 
R=e; 
(2) 令 k=2,1,0 讨 算 
(KJ = (BSCk +1) +e] bsS(k +1)a, 

(se = [a -BbL(E)DT SCE+1) + el (ky) +1, 


S(3) = 0. 
-2, 得 上 (2) =0,8S(2) =1， 
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| 
de oe 

h=0, 得 ZL(0) = [六 [到 +1) + bl 所 +1]a 

ab(aic+b +c) 

bE +abe+2abete’ 


k=1, 得 Li1)= 


S$(0) = Le -60) [ES +1) +cL {0)+1, 


(3) 令 上 =0,1,2 计算 w (如 的 形式 解 


ab{are+b +e) 


WO = ED, Tp + ae bete 9， 
We 
b ”+e 
nu 2) = -L220)x(t2) = 0. 
(4) 将 到 (hk) (=0,1,2) 代 人 状态 方程 得 
二 
性 
_ 有 + 
上 C1) Cb pe (3)， 
B+e bri(ae+b +e) 4(0) 


x (0) = rr 212 2 
oatb +re-b) bp +oaobe+2b +e 

(5) 将 x (Ek) (=0,1,2) 民 入 形式 解 得 wu" {所 的 有 反馈 解 : 
ablarc+bh +c) x* {0) 


本 0 三 
PT 
5 
-1 =_ "(1), 
u (1)} i 《1》 


uy" 2) = 一 天 (2 (2) = 0. 


(6) 计算 最 优 目 标 值 
J =Tlz (0)) =r (0)'SC0)x (0), 其 中 SC(0) 在 (2) 中 求 得 ， 


xz" (0) 在 (4) 中 求 得 . 
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本 章 介绍 求解 复杂 优化 问题 的 算法 ,与 前 面 各 章 介 绍 的 常用 优化 算 
法 相 比 较 , 它 们 具有 如 下 的 特点 :第 一 ,对 旭 标 函数 和 约束 函数 不 必 附 加 
可 解析 性 的 条 件 ,对 于 目标 函数 而 言 , 甚 至 不 要 求 具有 显 式 表 达 式 ,只 需 
要 在 所 计算 的 点 处 提供 函数 值 ;第 二 ,对 于 约 东 变量 可 以 取 离 散 值 , 比如 
整数 值 ,或 取 某 些 特殊 值 0 或 1; 第 三 ,在 通常 情况 下 ,这 些 算 法 能 够 求解 
全 局 量 优 点， 


18.1 随机 试验 法 


随机 试验 法 是 用 随机 方法 生产 试验 点 , 表 从 试验 点 中 选 出 满足 约束 
条 件 的 点 , 进 面 求 出 最 优点 的 一 种 方法 - 具体 方法 是 : 


设 问 题 为 
min fx), 
st gtx) EOL = 1,2,",m 
则 首先 用 随机 方法 生产 试验 点 |x| ,然后 从 中 找 出 满足 约束 条 件 
st, g(x) E00i=1,2,.…,.m 


的 点 xi,1 ,并 求 出 使 得 
minlf(xs,)| = /x") 


成 立 的 最 优 解 x”- 但 这 种 方法 因 选 点 过 程 计 算 量 较 大 ,所 以 当 问 题 的 维 
数 很 大 时 计算 量 是 非常 大 的 . 

随机 试验 法 的 算法 很 多 ,但 这 里 仅 介 绍 王 种 , 按 这 三 种 算法 依次 进行 
下 去 便 可 以 得 到 较 准确 的 最 优 解 . 但 这 些 算法 必须 满足 两 个 条 件 : 

(1) 给 出 最 优 解 x" 的 估计 范围 , 即 给 出 e ,6,0 =1,2,…,m) 使 


a < x < bli = 1,2,… ,mm); 


(2) 给 出 产生 (0,1) 区 间 内 均匀 分 布 的 伪 随 机 数 的 方法 . 通常 一 般 
计算 机 的 软件 中 都 给 有 产生 (0,1) 区 间 内 均匀 分 布 的 伪 随 机 数 的 程序 . 

这 里 仅 介绍 一 种 求 伪 随机 数 的 方法 一 一 乘 同 余 法 . 

{1) 用 递 推 公式 产生 数列 上 


i = 有 mod 严 }， 
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其 中 ,ti 表示 正 整数 4 .5 被 整数 斑 去 除 所 剩 下 的 余数 ,此 式 称 为 接 模 
为 m 的 同 余 式 . 且 初 值 六, 乘 子 4 和 模 mm 都 取 非 负 的 整数 . 
(2) 用 克 除 t; 妈 得 区 间 (0,1) 上 的 伪 随 机 数 
所 


r = 一 . 
。 m 


例如 , 苦 取 机 =74,4 =13,m=75, 列 可 算得 : 

上 = 13 x 74/75 的 余数 = 62， 
13 x 62775 的 余数 = 56， 
13 x 56/75 的 余数 = 53， 


[2 
ma 
ll 


a 
| 


r| = by = 62775 = 0. 8267, 
r, = bm = 56/75 = 0.7467, 
ry = bm = 53775 = 0,7067, 


假定 有 了 nn 个 (0,1) 区 间 内 均 名 分布 的 伪 随 机 数 和 A,(j =1,2,…,n) , 便 可 
得 到 一 个 点 
看 二 CN) Nas), 

其 中 =a +A(6 一 4)， 

车 g (XK) EO = 1,2,..,m), 
则 x 便 是 可 行 点 , 如 此 使 可 用 以 上 随机 方法 找 出 点 列 fx,1 ,再 在 点 列 中 
找 出 可 行 点 列 |z |, 记 min|f(z4) 1 = 拖 x"), 当 刀 欧 于 无 穷 大 时 , 视 ， 
为 所 求 的 极 小 值 点 . 

分 析 以 上 过 程 知 ,每 产生 一 点 x ,要 用 到 个 随机 数 ,运算 量 较 大 ， 
为 减少 运算 量 ,使 得 每 产生 一 点 只 用 一 个 新 的 随机 数 , 令 


于 {wl ,x ) 
Ti, 三 (xl A 
分 量 关 系 满足 
x = @ +A(b— a), j= 1] ,2 ,Nn, 
和 = 上 十 和 
| = 如. 十 大 (上 — a.), 
其 中 ,为 新 生成 的 (0,1) 区 间 办 均匀 分 布 的 伪 随 机 数 4， 
”算法 18.1 


算法 中 假定 为 随机 点 的 总 数 ;, 为 实验 的 可 行 点 总 数 ;&, 为 最 小 
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解 未 作 改 变 的 次 数 ; 届 为 给 定 的 正 数 ;N 为 给 定 的 正 数 , 最 小 解 如 六 次 不 
蛮 , 则 认为 求 出 了 最 优 艇 ;Ni 为 给 定 的 正 数 ,如 产生 请 | 个 随机 点 仍 无 可 
行 点 , 则 认为 问题 无 可 行 解 ,控制 输出 信息 . 

人 0 一 一 上 =p ,生成 上 -1 个 (0,1) 攻 则 内 均匀 分 布 的 伪 随 宙 数 
和 了 = 了 

加 和 二 NG =2,3,…,n) ,产生 一 个 (0,1) 区间 内 均匀 分 布 的 伪 随 
机 数 入 ,A 二 A 于 = tAb -0 ) j=l,2," ,nn 


记 x = (Fm), 
国 若 g(x) 0(i=1,2,3,.",m)? 
是 , 转 时 ; 

否 , 转 心 ; 


国志 +1 一 下, 求 .Arz). 当 Fr) <p 时 ,X= fx) P00; 
Fr) 当中 时 ,大 +iok,; 

园 若 语 入 ,认为 求 出 了 最 优 解 ,停止 计算 ;着 < 让, 转 二; 

t+1 二 和 当主 时, (1) 车 启 =0, 认 为 问题 无 可 行 解 ,停止 ; 
(2) 若 >0, 则 2N, 寺 Ni , 转 加 ;| 当 上 < , 转 加 . 
在 算法 18.1 中 ,加 :站 全 =1, 2 ,m) 不 变 , 这 不 利于 对 关 进一步 个 
计 , 且 经 过 计算 后 会 逐渐 对 x* 有 一 个 更 准确 的 估计 ,此 时 的 区 间 运 算 值 
a btj=1 2,…,n) 也 应 逐步 靠近 , 若 使 算法 18. 1 中 计算 到 第 六 步 的 结 
果 作 为 半 的 新 的 代 计 值 王 = (, 吉 ,… 元)7, 且 对 每 一 个 变量 估计 一 个 


区 间 长 度 5, 令 
L : 
@ = 而 -计生 = 而 + 壮 , 作 = 112, 8)， 
得 算法 18.2. 
算法 18.2 


四 0 一 ji 一 下 ;一 后 ,生成 上 -1 个 (0,1) 区 间 内 均匀 分 布 的 以 随机 数 
A =2," … , 形 一 P; 
t 
加 对 给 定 的 = (HW ,有 用 一 本人 ,十 台 = 12， 
i 
国 1 一 AU =2,3,…,n) ,产生 一 个 (0,1) 区 间 内 均匀 分 布 的 伪 随 
机 数 入 ,A 二 4,, 有 ,=a A -4) =1,2,"" 六 


记 可 三 【2%i ,5 
二 车 中 (00=1:23， 
是 , 转 司 ; 
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理 , 若 有 总 使 gz) >0, 转 全 ; 

+ 时 时 =p,0=6,; 当 
Nap +1ok,; 

器 车 上 兰 民 , 认 为 求 出 了 最 优 解 ,停止 计算 ;车 上, <, 转 人 加; 

+1 寺 h, 当 上 之 k 时 ,(1) 荐 启 =0, 认 为 问题 无 可 行 解 ,停止 ;(2)? 若 
E>0, 则 E+ 1 轩 

注 算法 18.2 中 为 一 个 小 于 1 的 正 数 ;存放 控制 改变 区 间 长 5 
的 先 代 次 数 ， 

为 了 更 好 的 利用 所 找 出 的 *” ,又 提出 了 随机 方向 法 . 把 前 六, 次 找 出 
的 最 优点 2 与 再 作 上 次 后 求 出 的 x 比较, 关 比较 x-x” >&, 则 沿 
方向 =x”~* 从 x" 出 发 作 一 维 搜索 求 出 x ,用 x 代替 工 再 计算 下 去 . 
这 样 敌 可 以 加 回 妆 证 速度 . 相应 地 得 算法 18. 3， 

算法 18.3 

0 证 革 , 生 成 4 一 1 个 (0,1) 区 间 内 均匀 分 布 的 食 随 机 数 
A =2,. ,1) ,Mp; 


ee LL LL 
二 对 给 定 的 六 = (各) 求 加 一 三 二 三才 寺 刀 (j=1,2， 


ss 

国 入 二 100=2,3,…,n) ,产生 一 个 (0.1) 区 间 内 均匀 分 布 的 伪 随 
机 散人 ,AAA ，， 
求 x = 十 有 一 名 =1)2. 
记 r= {x ,Xs 

转车 g(x) <<0(i=1,2,3,…,m) , 转 @; 否 则 ,车 有 记 使 g(x) >0， 
转 抱 ; 


加 +1 ; 求 HX). 当 fx) < 时 ,Xx A P= 当 
Fx)pHi,k, 二 工大 
图 若 玉 = 各 ,认为 求 出 了 最 优 解 ,停止 计算 ;车 < 用, 转 全 | 
全 下 +1 -下 ,当天 汪 上 时,(1) 若 =0, 让 为 问题 无 可 行 解 ,停止 ;2) 
若 记 >0, 则 比较 上 -x" 与 给 定 的 2, 若 xX-x* | >s, 转 @; 阁 xX- 
"| 去 #2, 则 x =r, 上, + Nk ,0a =1,2,…,n) 转 @; 当 kck,, 
转 蚊 ; 
辐 求 p=x”-+, 即 可 行 域 为 卫 , 用 一 维 搜索 求 
fx omin f(x’” +ap)l x +oap ED!, 
fx pr SE +1 2 转 @ 
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18.2 ”禁忌 搜索 算法 


禁忌 搜索 算法 (简称 TS) 是 在 1986 年 由 Clover 和 Hansen 首次 提出 
的 求 最 优 解 的 算法 . 它 是 一 种 人 工 智能 算法 ,是 局 部 邻 域 搜索 算法 的 推 
广 , 是 人 人工 智 能 在 组 合 优 化 算法 中 的 一 个 成 功 应 用 . 

禁忌 搜索 算法 的 一 个 主要 思想 是 标记 已 得 到 的 局 部 最 优 解 ,并 在 进 
一 些 的 选 代 中 避 开 这 些 局 部 最 优 解 . 所 谓 的 禁忌 ,就 是 禁止 重复 前 面 的 工 
作 . 为 了 避 开 局 部 邻 域 搜索 陷 人 局 部 最 优 ,禁忌 搜 索 算 法 设计 了 一 种 禁忌 
表 , 记 录 已 经 到 达 过 的 局 部 最 优点 . 在 下 一 次 的 搜索 中 ,就 利用 禁忌 表 中 
的 信息 ,不 再 或 者 有 选择 地 搜索 这 些 点 ,以 此 跳出 局 部 最 优点 . 


18,2.1 禁忌 搜索 算法 的 主要 步 又 


些 忌 搜索 算法 是 从 一 个 初始 可 行 解 出 发 ,选择 一 系列 特定 的 搜索 方 
向 (移动 ;作为 试探 ,选择 实现 让 特定 的 日 标 函数 值 减少 最 多 的 移动 ,一 
次 移动 产生 一 个 实验 解 , 为 了 避免 陷入 局 部 最 优 解 ,搜索 中 来 用 对 已 经 进 
行 的 优化 过 程 进行 记录 和 选择 ,指导 下 一 步 的 搜索 方向 ,这 就 是 建立 的 
Tabu 表 . Tabu 表 中 保存 了 最 近 若 干 次 选 代 过 程 中 所 实现 的 移动 的 反方 向 
移动 ,凡是 在 Tabu 表 中 移动 ,在 当前 选 代 过 程 中 则 不 能 实现 . 这 样 就 防止 
了 重复 搜索 ,从 而 避免 了 算法 聊 人 局 部 最 优 解 . 同时 ,为 了 尽量 不 错过 产 
生 最 优 解 的 移动 ,算法 采用 了 特 敖 原则. 

假设 算法 是 用 以 解决 如 下 组 合 优 化 问题 : 

min f(x), 
a | 六 人， 
ED, 

则 禁忌 搜索 算法 的 程序 框图 如 图 18 -1 

禁忌 搜索 算法 的 主要 步 又 为 : 

算法 18.4 

nD 选 定 一 个 初始 解 zi, 令 禁 尽 表 了 = 由 ; 

人 名 终止 准则 ? 

是 , 转 地 ; 

否 , 在 一 定 的 搜索 方向 产生 移动 值 凡 ... ,在 x 的 名 域 D(xsn) 中 选择 
满足 禁 刀 要 求 的 候选 集 CD(z,,) , 转 号 ; 

二 在 CD(r ,) 中 选 -- 个 评价 值 最 好 的 解 x , 令 rs =T 更 新 禁 
尽 表 了 , 转 名 ; 
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选取 初始 点 各， 构造 其 都 域 如 xm 


< 一 判 顺 放 m 是 否 为 邻 域 中 最 小 得 天 一 


选 次 优点 x1, 构造 分 域 MX), 禁忌 x， 选取 顾 小 点 蕊 ; 物 造 邹 域 Mxy), 禁忌 区 


求 邻 域内 的 最小 值 


< 到 果 最 小 点 是 否 为 禁忌 


榴 造 最 小 点 邻 域 ， 并 圭 尽 该 点 


有 


选 不 禁忌 最 小 点 构造 邻 域 ， 禁 忌 该 点 
找 出 邻 域内 的 最 小 值 ， 并 记录 
该 最 小 值 信息 ， 相 应 调整 禁忌 长 度 
< 一 冶 嘱 是 否 符合 终止 某 作 -> 忆 | 输 出 优化 值 ,算法 结束 

茜 志 一 个 点 ， 构 选 其 邻 域 并 找 出 领域 内 最 小 点 


图 18 一 1 


亿 输出 计算 结果 , 停 上 上 . 
18-2.2 禁忌 搜索 算法 的 特征 


禁忌 搜索 算法 是 一 种 人 工 稼 能 算法 ,实现 的 技术 问题 是 算法 的 关键 - 
禁 局 搜索 算法 的 特征 由 禁 刀 对象 和 长 度 、 儿 选集 和 评价 函数 .停止 规则 竹 
一 些 计算 信息 组 成 . 下 面 分 别 给 予 介绍 . 

1. 禁忌 对 象 .长 度 和 候选 集 

禁忌 对 象 和 禁 鼠 长 度 是 禁忌 表 中 的 两 个 主要 指标 . 禁忌 对 象 是 指 禁 
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电表 中 那些 被 禁忌 的 变化 元 素 ,由 于 解 状 态 的 变化 分 为 解 的 简单 变化 , 解 
向 量 分 量 的 变化 和 目标 值 变化 三 种 情况 ,所 以 禁忌 对 象 的 选取 也 相应 的 
有 对 解 的 简单 变化 禁 品 ,对 解 向 量 的 分 量变 化 禁忌 和 对 解 的 目标 值 变 化 
禁忌 二 种 情况 - 

(1) 解 的 简单 变化 禁忌 

这 种 变化 最 简单 , 设 *,y E 卫 , 其 中 上 为 优化 问题 的 定 疼 域 , 则 当 解 
从 一 个 解 二 变化 到 另 一 个 解 了 时 ,7 可 能 为 局 部 最 优 解 ,为 避 开 局 部 最 优 
解 ,采用 禁忌 原则 , 当 3 的 邻 域 六 Cr 中 有 比 它 更 优 的 解 时 ,选择 更 优 的 
解 , 当 7 为 其 邻 域 my) 的 局 部 最 优 时 , 则 选择 出 y 更 差 的 解 . 

(2) 解 向 量 的 分 量 的 变化 禁 避 

当 一 个 解 向 量 *= (x x1, Xir1:"" ,采用 与 上 面相 同 的 禁 
忌 原 则 ,构造 解 * 的 邻 域 N(x) 各 个 分 量 在 * 的 邻 域内 发 生变 化 : 

(x Ee ss) yy CI 1 1 ea ,这 

这 是 第 i 个 分 量 发 生变 化 的 情况 ,向 量 的 分 量变 化 也 包含 有 多 个 分 量 发 
生变 化 . 

(3) 解 的 目标 值 的 变化 禁忌 

在 单 目 标 值 情 况 下 ,目标 值 变 化 禁忌 类 似 于 解 的 简单 变化 禁忌 . 但 多 
目标 值 情况 下 , 需 先 通过 综合 评价 转化 为 单 目 标 ,再 按 类 似 于 解 的 简单 变 
化 禁忌 处 理 ， 

针对 三 种 不 同 状态 的 变化 方式 ,禁忌 的 对 象 可 以 是 任意 一 种 , 实际 应 
用 时 ,要 根据 基体 问题 采用 适当 的 一 种 方法 . 解 的 简单 变化 比 解 向 量 的 分 
量变 化 和 目标 值 变化 的 受 禁 忌 范 围 小 , 则 相应 增加 了 计算 的 时 间 ,但 也 给 
巴 了 较 大 的 搜索 范围 . 解 向 量 的 分 量变 化 和 目标 值 变 化 的 禁忌 范畴 大, 相 
应 减少 了 计算 的 时 间 , 但 禁忌 范围 大 容易 陷 在 局 部 最 优点 . 因此 ,禁忌 搜 
索 算法 的 技术 很 强 . 

在 算法 构造 和 计算 过 程 中 ,为 了 尽量 少 的 占用 机 器 内 存 ,要 求 禁 尽 长 
度 、 候 选集 合 尽 量 的 本. 但 禁忌 长 度 过 短 造 成 了 搜索 的 循环 ,候选 集合 过 
小 造成 过 早 地 陷入 局 部 最 优 . 

禁忌 长 度 是 指 被 禁忌 对 象 不 允许 被 选取 的 选 代步 数 . 一 般 是 给 被 禁 
鼠 对 象 * 一 个 数 ( 称 为 禁忌 长 度 ) ,要 求 * 在 ! 步 迁 代 内 被 禁 ,在 禁忌 表 
中 采用 T(x) = 记忆 ,每 迭代 一 步 , 作 运算 7(x) =i-1 直到 T(z) =0 时 
解禁 . 有 关 禁 忌 长 度 i 的 选取 ,可 归纳 为 如 下 的 几 种 情况 : 

(1) 1 为 常数 ,如 !L=10.!=va, 其 中 为 邻 域 中 邻居 的 个 数 . 这 种 规 
则 容易 在 算法 中 实现 . 

(2) 1 ET ,lz] ;此刻 是 可 变化 的 数 , 变 化 依据 为 被 禁忌 对 每 的 
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目标 值 和 邻 域 的 结构 , 此 时 5, ,1 为 确定 的 ,确定 fo,zs 一般 根据 问 
题 的 规模 入 ,限定 变化 区 间 [a YN,b YN],0 <a <5, 也 可 用 邻 域 中 邻居 的 
个 数 n 确定 变化 区 间 [a yn,B Vn] ,0 <a<5. 当 给 定 了 变化 区 间 , 则 根据 
实际 问题 ,实验 和 设计 者 的 经 验 来 确定 i 的 大 小 . 

(3) fastow 的 动态 选取 . 有 的 情况 下 ,用 i ,i 的 变化 能 达到 更 好 
的 解 . 

总 之 ,禁忌 长 度 的 选取 与 实际 问题 ,实验 和 设计 者 的 经 验 有 非常 紧 窗 
的 联系 , 它 决定 了 计算 的 复杂 性 . 禁忌 长 度 选 择 过 短 会 出 现 循环 ,过 长 又 
会 使 计算 时 间 增 长 . 

候选 集合 是 由 邻 域 中 的 邻居 组 成 的 ,常规 方法 是 从 邻 域 中 选择 若干 
个 目标 值 或 评价 值 最 佳 的 邻居 人 选 . 若 认 为 这 样 的 计算 量 还 是 太 大 , 则 不 
在 邻 域 的 所 有 邻居 中 选择 ,而 是 从 邻 域 中 的 一 部 分 邻居 中 选择 若干 个 目 
标 伸 或 评价 值 最 佳 的 状态 人 选 , 也 可 以 用 随机 选取 的 方法 实现 部 分 邻居 
的 选取 . 

2， 评 价 辣 数 

评价 函数 是 候选 集合 元 素 选 取 的 一 个 评价 公式 ,候选 集合 的 元 素 遂 
过 评价 喇 数 值 来 选取 . 评价 隔 数 主要 分 为 基于 目标 函数 和 其 他 方法 两 类 : 

(1) 基于 目标 函数 的 评价 琐 数 

通常 用 日 标 涌 数 来 作为 评价 函数 ,因为 目标 值 是 一 个 很 直观 的 函数 
这 一 类 主要 包含 以 目标 洋 数 的 运算 所 得 到 的 评价 方法 , 它 的 变形 很 多 . 

(2) 其 他 方法 

但 有 时 计算 目标 值 比较 复杂 或 耗 时 过 密 ,为 了 方便 和 易于 理解 ,常常 
会 用 其 他 函数 来 取代 目标 旺 数 ,作为 替代 的 评价 函数 . 但 替代 的 评价 冰 数 
应 该 反映 原 目 标 晤 数 的 一 些 特性 ,如 不 目 标 隔 数 对 应 的 最 优点 还 应 该 是 
蔡 代 五 数 的 最 优点 ,同时 要 注意 减少 计算 的 复杂 性 等 . 

3， 特 均 规 则 

在 禁 咏 搜索 算法 的 迭代 过 程 中 ,有 了 时 会 出 现 收 选 集中 的 全 部 对 和 象 或 
者 某 一 对 象 被 禁忌 ,但 如 果 解 禁 又 会 使 其 目标 值 有 非常 大 的 下 降 情 况 . 这 
时 ,为 了 达到 全 局 的 最 优 , 可 以 让 一 些 禁忌 对 象 重新 可 选 ,这 种 方法 称 为 
特赦 ,相应 的 这 种 规则 称 之 为 特赦 规则 

4. 记忆 频率 信息 

在 计算 的 过 程 中 ,记忆 一 些 信 息 对 解决 问题 是 有 利 的 . 如 一 个 最 好 的 
日 标 值 出 现 的 频率 很 高 ,这 时 可 以 推测 现 有 参数 的 算法 可 能 无 法 再 得 到 更 
好 的 解 ,因为 重复 的 次 数 术 高 ,有 可 能 出 现 了 密 次 循环 . 这 样 根据 解决 问题 
的 需要 ,可 以 记忆 和 解 集合 ,有 序 拥 禁 对 象 组 ,目标 值 集合 等 的 出 现 频率 . 
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一 般 可 以 很 据 状 态 的 变化 将 频率 信息 分 为 静态 和 动态 两 类 . 静态 的 
频率 信息 主要 指 某 些 变化 如 解 、 对 换 或 目标 值 在 计算 中 出 现 的 频率 . 动态 
的 频率 信息 主要 指 从 一 个 解 .对 换 或 目标 值 到 另 一 个 解 、 对 换 或 目标 值 的 
变化 趋势 ， 

频率 信息 可 以 进一步 加 强 禁 总 搜索 的 效率 . 如 可 以 根据 频率 信息 动 
态 控制 禁忌 的 长 度 . 当 一 个 元 素 或 一 个 序列 重复 出 现 , 可 以 增加 禁忌 长 度 
来 避 开 循环 . 当 一 个 序列 的 目标 (评价 ) 值 变化 较 小 时 ,增加 该 序列 的 每 
一 个 对 象 的 禁 蕊 长 度 , 反 之 车 变化 较 大 时 则 减少 . 

5， 比 止 规则 

禁 呈 搜索 算法 终究 是 一 个 启发 式 算法 ,所 以 不 可 能 使 禁忌 长 度 充分 
的 大 ,只 希望 在 可 以 接受 的 时 间 里 给 出 一 个 满意 的 解 . 这 样 需要 有 终止 原 
则 . 大 体 上 常用 的 终止 原则 有 了 四 种 : 

(1) 步 数 终 止 原则 

这 种 终止 原则 是 指 给 定 一 个 充分 大 的 数 , 使 总 的 迭代 次 数 不 超 过 这 
个 数 . 虽然 这 种 原则 便于 操作 ,但 无 法 保证 解 的 效果 . 

(2) 频率 控制 原则 

这 种 终止 原则 是 指 当 某 一 个 解 .目标 值 或 元 素 序列 的 频率 超过 一 个 
给 定 的 标准 时 ,算法 不 改进 , 解 已 经 不 会 收 进 , 故 终止 计算 . 

(3) 目标 值 变化 控制 原则 

这 入 终 止 原则 是 指 施 果 在 一 个 给 定 的 步 数 内 ,目标 值 没有 改变 , 则 算 
法 也 不 改进 , 解 也 已 不 会 政 进 , 故 终止 计算 - 

(4) 目标 值 偏离 程度 准则 

这 种 终止 原则 是 指 对 一 些 问 题 可 以 简单 地 计算 出 它们 的 下 界 z( 目 
标 为 极 小 ) ,车 目标 值 为 A(x) , 则 对 给 定 的 充分 小 的 正 数 s, 当 f(x) -zs 
时 计算 终止 ， 

禁忌 搜索 算法 虽然 是 大 工 智 能 在 组 合 优化 算法 中 的 一 个 成 功 应 用 ， 
但 算法 本 身 也 存在 着 一 些 缺 陷 . 首先 , 它 对 于 初始 解 的 依赖 性 较 强 ,一 个 
较 好 的 初始 解 可 以 使 算法 在 解 空 间 中 搜索 到 更 好 的 解 ,但 一 个 较 差 的 初 
始 解 却 会 降低 算法 的 收 伍 速 度 . 其 次 , 它 在 搜索 过 程 中 初始 解 只 能 有 一 
个 ,迭代 一 次 ,也 只 能 把 一 个 解 移动 到 另 一 个 解 


18.3 模拟 退火 算法 


模拟 带 火 算法 (简称 SA) 是 属于 一 种 通用 的 随机 搜索 算法 ,是 局 部 
搜索 算法 的 扩展 . 它 的 早期 思想 是 在 1953 年 由 Metropolis 提出 来 的 ,到 
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1983 年 由 Kirkpatrick 等 人 成 功 地 应 用 在 组 合 最 优化 问题 中 . 

模拟 退火 算法 的 基本 思想 来 源 于 固体 的 退火 过 程 . 当 加 热 固 体 到 一 
定 温度 后 , 它 的 所 有 分 子 在 状态 空间 自由 运动 . 随 着 温度 的 逐渐 下 降 ,分 
子 停 留 在 不 同 的 状态 ,分子 运动 巡 渐 趋 于 有 序 , 最 后 以 一 定 的 结构 排列 ， 
这 种 由 高 温 向 低温 逐渐 降温 的 过 程 称 为 退火 . 退火 过 程 中 系统 的 入 值 不 
断 减 小 ,系统 能 量 随 温度 的 降低 趋 于 最 小 值 . 固体 退火 过 程 与 优化 问题 之 
间 存 在 着 类 似 性 . Kirkpatrick 等 人 把 Metropolis 等 人 对 用 国体 在 恒定 问题 
下 达到 热平衡 过 程 的 模拟 引信 到 优化 过 程 中 . 凤 如 昌 


AF = 并 x+ 直人 ] - Axtt)] OAt > 0), 


则 接受 新 状态 ,否则 按 概率 P(Af) =e -接受 新 状态 . T= T(1) 为 一 随机 
时 间 + 增加 而 下 降 的 参 变量 .相当 于 退火 过 程 中 的 温度 . 这 种 利用 优化 问 
题 求解 与 物理 系统 退火 过 程 的 相似 性 ,使 用 Metropolis 算法 ,适当 控制 温 
度 的 下 降 过 程 ,实现 模拟 退火 ,从而 达 到 求解 全 局 优化 问题 的 随机 性 方法 
称 之 为 “模拟 退火 算法 ”. 

模拟 退火 算法 在 搜索 策略 上 引 人 和 人 了 适当 的 随机 因素 和 物理 系统 退 
火 过 程 的 自然 机 理 , 使 得 在 迁 代 过 程 中 出 现 可 以 接受 使 目标 函数 值 变 
“好 "的 试探 点 ,也 可 以 以 一 定 的 概率 接受 使 目标 函数 值 变 “ 差 " 的 试探 
点 . 接受 概率 随 着 温度 的 下 降 逐 渐 减 小 . 这 样 避免 了 搜索 过 程 陷 人 局 部 
最 优 解 , 有 利于 提高 求 得 全 局 最 优 解 的 可 靠 性 . 因此 ,模拟 退火 算法 具 
有 实用 范围 广 , 求 得 全 局 最 优 解 的 可 靠 性 高 ,算法 简单 ,便于 实现 等 
优点 . 


18.3.1 模拟 退火 算法 的 基本 原理 


模拟 退火 算法 利用 模拟 热力 学 中 经 典 粒子 系统 的 降温 过 程 来 求解 规 
划 问 题 的 极 值 . Metropolis 过 程 的 基本 步 又 为 : 

(1) 给 定 初始 温度 四 及 初始 点 和 ,计算 该 点 的 函数 值 f(x。)，; 

(2) 随机 产生 挑动 Ax, 得 到 新 点 * = zx + Ax, 计 算 新 点 的 函数 什 
f(x) 及 哨 数 值 差 Af =f(x) -f(x0); 

(3) 若 Ars0, 则 接受 新 点 ,作为 下 一 次 模拟 退火 的 初始 点 

(4) 若 Af >0, 则 计算 新 点 的 接受 概率 P(Af) =e- 普 ,产生 [0,1] 区 间 
于 的 均匀 分 布 的 伪 随 机 数 r,r E[0,1] , 若 P(AP) = 六, 则 接受 新 点 为 下 一 
次 模拟 的 初始 点 .否则 放弃 新 点 , 仍 取 原 来 的 点 作为 下 一 次 模拟 的 初 
始点 . 

模拟 退火 优化 算法 就 是 按照 一 定 的 退火 方案 逐渐 降低 温度 ,重复 
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Metropolis 过 程 而 构成 的 . 当 系统 温度 足够 低 时 ,就 认为 达到 了 全 局 最 优 
状态 . 在 模拟 退火 优化 算法 过 程 中 ,降温 的 方式 对 算法 的 影响 很 大 . 如 果 
温度 下 降 过 快 可 能 就 会 丢失 极 值 点 ,如果 下 降 过 慢 ,收敛 速度 又 会 大 大 降 
低 . 为 提高 机 所 退火 优化 算法 的 有 效 性 分 别提 出 了 多 种 退火 方案 . 最 典型 
的 有 经 典 退 火 方 式 和 快速 退火 方式 两 种 . 前 者 的 降温 公式 采用 了 (1) = 


7 
Eee ,温度 下 降 很 缓慢 ,算法 的 收 合 件 也 很 慢 ; 后 者 的 降温 公式 采用 


了 
wi( 其 中 可 改善 退火 曲线 的 形态 ) ,在 高 温 区 温度 下 降 较 快 ， 
而 在 低温 区 温度 下 降 较 悍 , 这 符合 粒子 在 高 温 时 具有 较 低能 量 的 概率 比 
在 低温 小 很 多 的 热力 学 的 分 子 运动 理论 ,这样 就 可 以 把 寻 优 的 重点 放 在 
低温 区 . 


T(E) = 


18.3.2 模拟 退火 算法 的 基本 步 苞 和 实现 的 技术 问题 


模拟 退火 算 读 用 一 组 冷却 进度 表 参 数 来 控制 算法 的 进程 ,使 算法 在 
控制 参数 以 随 算法 进程 递减 ) 徐 徐 降温 "并 趋 子 零 时 ,最 终 求 得 组 合 优 
化 问题 的 相对 全 局 最 优 解 . 冷却 进度 表 参 数 包 括 控制 参数 上 的 初始 值 与 、 
大 减 丽 数 ,终止 准则 及 Markov 链 长 度 荆 ,优化 问题 的 一 个 解 i 及 其 日 标 
函数 玉 门 分 别 与 固体 的 一 个 微观 状态 i 及 其 能 最 五 相对 应 . 令 控制 参数 
;把 当 轩 体 退 水 过 程 中 温度 了 的 角色 ,对 :的 每 一 个 取 秆 ,采用 Metropolis 
接受 准则 ,持续 进行 “产生 新 解 一 判断 一 接受 或 舍弃 "的 迭代 过 程 ,最 终 
达到 该 温度 下 的 “平衡 点 ”. 

模拟 退火 算法 如 下 所 示 : 

算法 18.5 

QD 给 定 冷 却 进度 表 参 数 及 其 选 代 初 始 解 x。 和 f(xo); 

号 参数 :=t 时 作 工 次 试探 搜索 ; 

据 当 前 解 x 产生 一 随机 向 量 2 对 连续 变量 ) 或 随机 偏 变量 4( 对 离 
散 变 最 ) 得 到 * 邻 域 的 新 的 试探 点 xi: 


| 十 站， 连续 变量 ， 
XX 二 
X(t9+9')， 离散 变量 ， 


其 中 多 为 离散 变量 的 取 值 序列 ,9 为 当前 解 的 离散 位 置 . 
节 ) 产生 一 个 在 (0,1) 上 均匀 分 布 的 随 祝 数 必 ,计算 出 在 给 定 当 前 挝 
代 点 x*; 和 温度 4 下 与 Metropolis 接受 准则 相对 应 的 转移 概率 p, 有 : 
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1 所 zt ESAsxi), 
天 们 (18 - 1) 


1 


e ”> 


车 n 所 p, 则 接受 新 解 ,x = 和 ,Fei) =A(x4) ,否则 x, 不 变 . 

@ 试探 点 搜索 小 于 L 次 , 转 例 , 否 则 转 国 ， 

‘ 避 满足 选 代 终 止 条 件 ? 

是 , 则 停止 ,当前 解 为 近似 全 局 最 优 解 ， 

否 , 则 转 @ 

时 根据 给 定 的 温度 衰减 函数 ,产生 新 的 温度 控制 参数 ,1 及 Markov 
链 长 度 上 ,,， 

中 重复 加 一 加 ,直到 找到 最 优 解 ， 

模拟 退火 算法 是 四 式 (18 - 1) 描述 的 Metropolis 准则 既 接 受 优 化 解 
也 接受 省 化 解 . 算法 开始 时 :和 值 较 大 ,就 可 能 接受 较 差 的 劣化 解 ,但 随 : 的 
减 小 ,只 会 接受 较 好 的 劣化 解 . 最 后 在 上 值 趋 于 零 时 ,就 不 再 接受 劣化 解 
了 -. 因此 ,模拟 退火 算法 能 从 局 部 最 优 的 陷阱 中 跳出 来 ,以 较 大 的 概率 获 
得 全 局 最 优 解 . 

下 面 讨论 算法 实现 中 的 一 些 技术 问题 , 包 插 初 始 温度 的 选取 ,温度 下 
降 方法 和 停止 温度 的 确定 ,每 一 温度 Markov 链 的 选 代步 长 和 终止 淮 
则 等 ， 

1. 初始 温度 的 选 赵 

影响 模拟 退火 算法 全 局 搜索 性 能 的 重要 因 索 之 一 就 是 初始 温度 的 选 
取 . 初始 温度 越 高 ,算法 搜索 到 全 部 最 优 解 的 可 能 性 就 越 大 ,但 同时 所 花 
费 的 计算 时 间 也 就 越 长 . 初始 温度 低 , 虽 可 节省 计算 时 间 , 但 又 会 影响 全 
局 搜索 性 能 ,使 搜索 到 的 全 局 最 优 拥 的 可 能 性 减 小 . 通常 在 实际 应 用 过 程 
中 ,都 要 依据 实验 的 结果 对 初始 温度 进行 若干 次 的 调整 . 

理论 上 ,起 始 温度 4, 应 该 保证 平稳 分 布 中 的 每 一 状态 的 概率 相等 ， 
也 就 是 要 满足 : 


由 此 得 到 初始 温度 的 一 个 估计 秆 ”t= 克 ， 
其 中 下 为 充分 大 的 数 , 实 际 计算 可 根据 问题 特点 确定 ,如 选 记 =10,20,… 
实验 值 . 但 注意 有 的 选取 过 大 会 造成 计算 时 间 增 加 ,k 过 小 又 会 使 算法 过 
早 陷 入 局 部 最 优点 .5 可 按照 8=max|f(O) 1 EE D} -min|fQ}1jE DI 选 
避 , 但 5 有 时 会 出 现 很 难 估 计 或 很 难 精确 知道 最 大 和 值 和 最 小 值 . 

对 于 初始 温度 的 选取 可 以 通过 取 值 计算 估计 和 统计 推断 司 计 的 方 
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法 ,通过 数值 计算 可 以 估计 出 温 魔 专 . 

算法 如 下 : 

算法 18.56 

中 给 定 一 个 常量 7 了 ;初始 温度 名;YolYo 接近 于 1) ;Ro =0.k; =1; 

名 在 这 个 温度 迭代 工 步 (上 为 一 个 给 定 的 常数 ) 分 别 记录 模拟 退火 
算法 中 接受 和 被 拒绝 的 状态 的 个 数 .计算 接受 的 状态 数 同 选 代步 数 世 的 


直率 Rs 
辐 检查 1R -yol <e? 
是 . 则 停止 计算 ; 
天 , 当 R RR <Yyo,E: =k+1 ,t= +7 了 , 转 名 ; 
到 TT 
当 R,_ iyo;B RR, 所 Yo, 则 k: =k+1,i,: 三 让 二 = 可: 转 全 ; 


人 
当 R, yo Ry =+1 ,tm: = 本: 转 四 | 


对 于 ,通常 采用 统计 的 方法 估计 费用 函数 的 上 下 限 . 具体 方法 可 和 参 
考 文献 [131. 

2, 温度 下 降 方 法 的 确定 

温度 下 降 方 法 的 确定 是 模拟 退火 算法 中 的 另 一 个 影响 模拟 退火 算法 
全 局 搜索 性 能 的 重要 因素 . 

在 邻 域 搜索 过 程 中 , 普 解 的 质量 变 差 的 概率 呈 Boltzmann 分 布 时 ,对 
数 降 温 方式 可 以 使 模拟 退火 算法 收 伍 于 全 局 最 优 解 , 即 : 

titk) = 

其 中 上 为 正 的 常数 汰 为 降 遍 次 数 ， 

但 是 当 解 的 质量 变 差 的 概率 呈 Cauehy 分 布 时 ,对 数 降温 方式 可 以 使 
模拟 退火 算法 收 策 于 全 局 最 优 解 , 即 

Kk 


ek} 二 本 下 


在 实际 问题 的 应 用 中 ,通常 采用 两 种 非常 直观 的 下 降 方法 ,一 种 是 每 
一 步 温度 以 相同 的 比率 下 降 , 即 4 = at, 其 中 0,0 < a <1,0 为 降温 
系数 ,a 越 接近 1 温度 下 降 越 慢 . 由 于 这 种 方法 简单 易 行 ,应 用 很 广 ; 另 一 

N-k 
种 是 每 一 步 温度 以 相同 的 长 度 下 降 , 即 :4 = ,其 中 为 初始 温 
度 ,W 为 温度 下 降 的 总 次 数 . 这 一 下 降 的 方法 的 优点 是 易于 操作 , 且 可 以 
简单 地 控制 温度 下 降 的 总 步 数 
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3. 每 一 温度 选 代 长 度 的 确定 

得 一 温度 迭代 长 魔 也 是 影响 模拟 退火 算法 全 局 搜索 性 能 的 重要 因 
素 ,在 实际 计算 中 朗 根 据 问 题 的 特点 确定 合理 的 选 代 长 度 , 常 用 的 方法 有 
如 下 几 种 . 

(1) 固定 迭代 步 数 

这 种 方法 很 简单 ,就 是 在 每 一 温度 确定 相同 的 选 代 步 数 , 步 数 的 选取 
同 实际 问题 的 大 小 有 关 ,一 般 采 用 与 邻 威 天 小 直接 相关 的 规则 . 

(2) 由 接受 和 拒绝 的 比率 来 控制 选 代 步 数 

在 温度 高 时 ,每 一 状态 被 接受 的 概率 基本 相同 ,几乎 上 所 有 状态 都 被 接 
爱 , 这 时 可 以 使 同一 温度 的 选 代步 数 尽 量 的 少 , 当 温度 逐渐 降低 以 后 , 越 
来 越 多 的 状态 被 拒绝 ,为 避免 为 早 的 陷入 局 部 最 优 , 可 以 相应 地 增加 选 代 
的 步 数 . 一般 常用 的 方法 是 给 定 一 个 充分 的 步 长 上 限 UV 和 一 个 接 爱 次数 
上 跟 不 , 当 某 一 温度 的 实 味 接 受 次 数 等 于 四 时 ,在 此 尖 度 下 不 再 选 代 而 
使 温度 下 降 , 否 则 继续 迭代 到 上 限 步 数 L. 另 一 种 方法 是 再 给 定 一 个 接受 
比率 r 和 一 个 选 代 步 长 下 限 7, 每 一 温度 至 少 选 代步 ,当选 代步 数 超过 
『 步 时 ,如 果 同 一 温度 适 代 定 接 受 次 数 同 总 次 数 的 比率 不 小 于 ", 则 不 再 
选 代 而 使 温度 下 降 ,否则 继续 迁 代 到 上 限 步 数 U. 当然 也 可 以 用 拒绝 次 数 
为 指标 得 到 一 些 类 似 的 控制 造 代 步 数 的 规则 . 

另外 ,还 有 概率 控制 法 等 其 他 方法 - 

4. 算法 的 终止 准则 

模拟 退火 算法 的 终止 规则 主要 采用 一 些 比较 直观 的 方法 ,如 : 

(1) 零度 法 

模拟 退火 算法 的 最 终 温 度 为 零 ,所 以 常 给 定 一 个 比较 小 的 正 数 =, 当 
温 庶 二 和 & 时 ,算法 终止 ,表示 达到 了 最 低温 度 - 

《2) 循环 息 数 控制 法 

这 种 方法 是 设 总 的 温度 下 降 次 数 为 一 定 值 访 , 当 温 度 迭 代 次 数 达 到 
N 时 ,算法 终止 . 这 一 原则 可 分 为 两 类 ,一 类 是 整个 算法 的 总 近代 次 数 为 
一 定 值 , 另 一 类 是 温度 下 降 次 数 为 一 定 值 . 

(3) 基于 不 改进 规则 的 控制 法 

这 种 方法 是 指 在 一 个 温度 和 给 定 的 选 代 次 数 内 没有 改进 当前 的 局 部 
最 优 解 , 则 算法 终止 ， 

(4) 接受 概率 控制 法 

模拟 退火 算法 的 基本 思想 是 跳出 局 部 最 优 解 ,如果 在 较 高 湿度 时 没 
能 跳出 局 部 最 优 解 , 在 较 低 温度 时 能 跳出 局 部 最 优 解 的 可 能 性 也 更 小 ,所 
以 就 给 定 一 个 比较 小 的 数 P, 在 一 个 温度 和 给 定 的 泛 代 步 数 内 , 除 当前 局 
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部 最 优 解 外 ,其 他 状态 接受 概率 都 小 于 Pp 时 ,算法 终止 . 

另外 ,还 有 一 些 算法 终止 准则 ,如 邻 域 活 ,Lundy 和 Mess 方法 ,Aaris 
和 VanLaarhoven 法 等 等 . 

分 析 模 拟 退 火 算 法 的 基本 原理 看 出 ,理论 上 是 用 一 个 Markov 链 描述 
模拟 退火 算法 的 变化 过 程 ,所 以 具有 全 局 最 优 性 ,在 具体 应 用 模拟 退火 算 
糯 中 发 现 , 它 也 有 许多 不 足 ,主要 基 有 许多 参数 项 要 人 为 沽 整 ,如 起 始 温 
庶 .温度 下 降 方 案 ` 固 定 温度 时 的 秋 代 长 度 .终止 规则 等 等 ,这 样 就 造成 了 
计算 结果 的 差异 ,因而 很 难保 证 计算 结果 为 全 局 最 优点 . 这 就 需要 通过 大 
基 的 数值 模拟 计算 来 选择 好 的 参数 . 


18.4 遗传 算法 


遗传 算法 (简称 GA) 是 在 1975 年 首次 由 Holland 提出 来 的 , 它 的 基 
本 思想 来 源 于 Darwin 的 进化 论 和 Mendel 的 遗传 学 说 . 算法 主要 借用 生 
物 进化 论 中 “ 适 者 生存 "的 规律 , 即 最 适合 自然 环境 的 群体 往往 产生 更 大 
的 后 代 和 群体 . 它 借鉴 了 生物 进化 的 一 些 特性 ,是 一 种 新 的 全 局 最 优 搜 索 算 
法 ,简单 实用 ,适合 于 并 行 处 理 ,在 优化 调度 、 运 输 问 题 、 组 合 优 化 等 邻 域 
已 得 到 广泛 应 用 ,成 为 求解 尾 意 阴 数 忧 化 问题 的 强 有 力 的 工具 

和 遗传 算法 可 以 解决 组 合 优化 问题 以 及 目标 郑 数 或 某 些 约束 条 件 下 不 
可 微 的 非 线性 优化 问题 . 它 以 适应 度 随 数 为 依据 ,通过 对 群体 中 的 个 体 施 
加 遗传 操作 ,实现 群体 上 内 个 体 结构 的 重组 ,使 群体 肉 个体 一 代 代 得 以 优化 
放逐 渐 接近 全 局 最 优 解 . 


18,4.1 遗传 算法 的 基本 原理 和 步骤 


对 于 一 般 的 优化 问题 
min w = f(x,y,2), 切 后 及 ， 
s. t, G(r,y,2) 人 (x.2) 三 性 
遗传 算法 包含 以 下 主要 的 处 理 步 又 ,首先 将 优化 问题 的 一 组 基本 可 
行 解 (x,7,z) 进行 编码 ,表示 一 组 二 进 制 的 字符 串 . 一 个 解 的 编码 称 为 一 
个 染色 体 , 组 成 编码 的 元 素 称 为 基因 ,编码 主要 是 用 于 优化 问题 解 的 表现 
形式 以 及 后 面 遗 传 算法 中 的 计算 ,开始 一 般 总 是 随机 产生 一 些 个 体 ( 即 
切 始 解 ) ,根据 确定 的 优化 问题 的 目标 函数 ( 称 为 适应 函数 } ,对 每 个 个 体 
进行 评价 ,得 出 个 体 的 适应 函数 值 ,由 适应 函数 值 的 大 小 决定 的 概率 分 布 
来 确定 娜 些 染 色 体 适应 生存 ,哪些 被 淘汰 . 然后 选择 出 来 的 个 体 经 过 交换 
和 变异 进行 再 组 合 ,产生 一 个 新 个 体 . 新 个 体 产 生 过 程 中 可 能 发 生 基因 变 
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异 ,变异 使 某 些 解 的 编码 发 生变 化 ,使 解 有 更 大 的 遍历 性 . 新 个 体 继 承 了 
上 一 代 的 优良 特性 , 遗传 算法 就 是 通过 对 生物 基因 的 复制 .交换 和 变异 这 
三 种 模拟 来 实现 其 优化 过 程 的 . 

复制 是 遗传 算法 的 关键 . 它 来 源 于 自然 界 中 适 者 生存 的 思想 ,是 指 按 
一 定 的 概率 从 群体 中 选择 若干 的 染色 体 , 作 为 双亲 用 于 繁殖 后 代 , 产 生 新 
的 染色 栖 加 入 于 一群 体 中 . 生物 进化 的 适 者 生存 规律 使 得 最 其 有 生存 能 
力 的 染色 体 以 最 大 的 可 能 生存 . 

交换 体现 了 自然 界 中 信息 反馈 的 思想 ,是 指 对 于 选中 的 用 于 繁殖 的 每 
一 对 染色 体 , 随 机 地 选择 同一 整数 ,将 双亲 的 基因 码 链 在 此 位 置 相互 交换 . 

变异 体现 了 自然 异 中 生物 会 惕 然 发 生 基因 变异 的 思想 ,是 指 以 一 定 
的 概率 从 群体 中 随机 的 选取 若干 染色 体 , 对 于 选中 的 染色 体 , 峙 机 选取 某 
一 位 进行 肥 反 运算 . 

对 某 一 代 种 群 经 过 对 生物 基因 的 复制 、 变 换 和 变异 ,将 产生 新 一 代 种 
群 , 青 重 复 此 过 程 ,直到 群体 或 最 优点 的 性 能 达到 满意 程度 . 遗传 算法 的 
基本 步 叉 为 : 

算法 18.7 

中 选择 问题 的 一 个 编 和 ,给 出 一 个 有 六 个 染色 体 的 初始 群体 pt1)， 
当前 进化 步 数 1: =1; 

地 计算 ptt)} 中 的 每 一 个 个 体 p, (由 的 适应 函数 =fitness(p,(4) )， 

地 若 终止 规则 满足 , 则 算法 停止， 


Pp, = f +F = 1 2 Ny, {18 - 2) 
Sf 
并 以 概率 分 布 (18 2) 从 pt 丫 中 随机 选 一 些 架 色 体 构成 一 个 种 群 . 
new ptt + 1) 二 lp,(#) | J = 1 ,2 


地 通过 交配 ,交换 概率 为 p,, 得 到 一 个 及 个 染色 体 的 crossp (t+ 
1); 

名 以 一 个 较 小 的 概率 ,使 得 一 个 染色 体 的 一 个 基因 发 生变 异 , 形 成 
mutp(t+1);t: =t+1, 一 个 新 的 群体 p(t) = mutp(?) , 转 罗 ; 


18- 4. 2 遗 待 算法 的 技术 问题 


直 传 算法 的 主要 问题 是 算法 如 何 实现 的 技术 问题 . 归结 起 来 有 如 下 
一 些 因 素 : 
1 解 的 编码 和 解码 
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解 的 编码 是 遗传 算法 的 最 基础 工作 ,只 有 在 编码 之 后 才 可 能 有 其 他 
的 计算 . 算法 的 最 后 一 个 工作 出 是 通过 解码 得 到 问题 的 一 个 解 . 

比较 直观 和 常规 的 方法 是 0 -1 二进制 编码 , 称 为 常规 码 , 它 与 人 类 
的 染色 体 成 对 结构 类 似 . 这 种 编码 算法 可 以 使 算法 的 算 子 构造 比较 简单 ， 
对 于 一 些 优化 间 题 这 样 表 示 很 直观 、 简 便 . 但 在 表示 有 些 组合 优 化 问题 时 
会 显得 无 效 或 不 方便 . 所 以 除 此 之 外 ,还 有 非 0 -1 码 , 称 为 非常 规 编码 ， 
这 与 实际 问题 联系 紧密 ， 

2. 初始 群体 的 选取 

在 计算 开始 时 ,需要 产生 一 些 待 优化 问题 的 可 能 解 , 称 为 初始 群体 . 
初始 群体 可 用 随机 方式 产生 ,了 世 可 以 用 其 他 的 一 些 启 发 式 算法 或 经 验 选 
择 , 主 要 针对 实际 间 题 而 定 . 

3. 群体 规模 的 确定 

群体 规模 在 算法 第 一 层 就 需要 确定 ,实际 应 用 中 时 常 取 个 体 编码 长 
度数 的 一 个 线性 倍数 . 当然 群体 规模 的 选取 也 可 以 是 变化 的 , 当 多 个 进化 
代 强 能 改变 解 的 性 能 ,保持 现 有 的 群体 规模 已 很 难 改 进 解 时 ,可 扩大 群体 
的 规模 . 反之 , 若 解 的 改进 已 经 非常 好 时 ,就 可 以 减少 寿 体 规模 ,使 计算 速 
度 加 快 ， 

4. 适应 函数 的 确定 

一 般 情 况 下 ,适应 函数 同 目标 晒 数 相关 ,以 此 保证 较 优 的 解 有 较 大 的 
生存 机 会 ,适应 函数 有 以 下 几 类 |; 

(1) 简单 适应 函数 

简单 适应 函数 是 目标 函数 的 简单 变形 , 它 的 优点 是 构造 简单 ,与 利 标 
函数 直接 相关 . 价 它 的 缺点 是 可 能 合算 法 在 闪 代 过 程 中 出 现 收 僵 到 一 些 
站 标 值 近似 的 不 同 染 色 体 而 难以 区 别 - 

(2) 加 速 适应 函数 

加 速 适 应 函数 有 非 线 性 加 速 适 应 函数 ,线性 加 速 适应 函数 等 . 它们 的 
思想 是 希望 开始 时 每 一 个 状态 有 上 比较 大 的 选取 性 , 随 着 计算 的 步 步 进行 ， 
逐渐 拉 开 目标 值 不 同 对 应 状态 的 档次 

(3) 排序 适应 函数 

排序 适应 函数 可 以 如 开 对 日 标 函 数 进行 线性 、 非 线性 等 加 速 适应 东 
数 的 早熟 可 能 ,使 每 一 代 当 前 最 好 的 解 以 最 大 的 概率 遗传 . 

5. 三 个 算 子 

遗 尾 算法 的 三 个 算 子 是 种 群 选取 、 交 配 和 变异 . 前 面 遗 传 算法 中 新 群 
体 产生 中 的 一 个 主要 问题 就 是 如 何 选 取 称 群 . 种 群 选取 通常 有 这 样 一 些 
策略 : 
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(1) 根据 适应 度 比 例 或 排名 的 方法 
种 群 是 以 一 个 概率 分 布 一 一 轮 盘 赌 的 形式 选择 个 体 而 产生 的 ,如 首 


先 计 算 各 个 个 体 的 相应 适应 度 : p, = 2 = 1 ,2,… ,NN, 以 了 ,为 选择 概 


2 

率 将 一 个 贺 盘 分 成 访 份 , 则 第 i 个 扇形 的 中 心 角 为 27p,, 阁 其 个 参照 点 蒂 
在 第 i 个 扇形 内 , 则 选择 个 体 i 显然 这 样 相 对 适应 度 高 的 个 体 被 选中 的 机 
会 比 相 对 适应 度 低 的 个 体 机 会 更 大 , 它 的 基因 结构 被 遗 尾 到 下 一 代 的 可 
能 性 也 就 大 . 也 可 以 根据 个 体 适 应 度 在 群体 的 排名 来 确定 选取 概 举 Pi ,再 
由 上 述 方 法 选取 . 

(2) 根据 局 部 竞争 机 制 的 方法 

这 种 方法 是 先 随 机 地 在 群体 中 选择 下 个 个 体 进 行 比较 ,然后 选取 适 
应 度 好 的 个 体 作 为 下 一 代 的 爸 体 , 显然 这 种 方法 可 以 使 适应 度 的 个 体 有 
较 大 的 遗传 机 会 . 

(3) 最 优 保 存 选 取 方 法 

这 种 方法 常 结合 其 他 选取 方法 使 用 . 它 的 具体 方法 是 保存 当前 群体 
中 的 适应 度 最 高 的 个 体 ,而 不 让 它 参 与 交叉 和 变异 运算 ,而 用 来 替换 本 代 
群体 中 经 过 交配 ,变异 后 所 产生 的 适应 度 最 低 的 个 体 . 从 而 既 防 止 遗 传 操 
作 过 程 中 所 蓝 得 的 阶段 最 优 个 体 不 被 随机 性 破坏 ,同时 也 而 能 防止 某 个 
局 部 最 优 个 体 不易 被 淘 流 从 而 降低 算法 的 全 局 搜索 能 力 . 

总 之 ,选取 方法 要 根据 问题 的 特点 和 群体 规模 灵活 采用 或 相互 配合 
使 用 . 

交配 是 基因 算法 裴 得 优良 个 体 的 重要 手段 ,就 是 从 代码 群 中 随机 地 
选取 两 个 作为 父 代 进 行 杂 交 , 杂 交 过 程 中 . 两 个 父 代 部 分 结构 如 以 替换 重 
组 而 生成 新 的 个 体 ,这 样 父 代 的 部 分 码 但 传 给 子 代 ,使 优良 的 特性 一 代 代 
地 遗传 下 去 . 具体 交配 的 方法 有 很 多 ,以 常规 码 来 说 ,主要 的 交配 方法 有 
两 大 类 ,一 类 是 双亲 道 传 法 ,如 :双亲 双子 法 ,变化 交配 法 、 多 交配 位 法 、 双 
亲 单 子 法 、. 显 性 遗传 法 等 等 , 另 一 类 是 单亲 遗传 法 . 下 面 简要 说 明 一 下 : 

(1) 双亲 双子 法 

首先 在 确定 双亲 以 后 ,以 一 个 随机 位 进行 位 之 后 的 所 有 基因 的 对 换 ， 
然后 形成 两 个 后 代 , 即 如 父 伐 A = 1007100, 父 代 B =0107010, 则 形成 子 
代 A=1007010 和 子 代 B=0107100. 

(2) 变化 交配 法 

但 有 些 双 亲 , 采 用 上 述 上 方法 可 能 导致 父 代 与 子 代 完全 相同 ,从 而 影响 
收 笋 速度 和 检索 范围 . 这 时 就 从 头 开始 先 比较 它们 相同 的 基因 ,从 不 同 基 
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因 位 置 按 前 面 方法 随机 选 变 配 位 . 如 父 代 站 = 1101001, 父 代 B= 
1100010 , 若 在 前 三 位 选 为 变 配 位 ,交配 不 会 有 变化 , 查 是 如 果 在 第 4 位 以 
后 随机 选取 ,交配 就 会 有 变化 了 ， 

(3) 多 交配 位 法 

随机 选择 包 个 交配 位 ,双亲 以 一 个 交配 位 到 下 一 个 交配 位 基因 相互 
替代 和 下 一 个 交配 应 到 再 下 一 个 交配 位 不 变 , 交 娘 形 成 两 个 新 的 后 代 , 如 
父 代 上 =117017001 和 父 代 B=117007010, 则 形成 子 代 A=117A007x001 和 
子 代 B =11A01/010. 

(4) 双亲 单子 法 

这 是 使 一 对 双亲 愉 有 一 个 后 代 , 缀 可 以 从 常规 交配 法 的 两 个 后 代 中 
随机 选择 一 个 ,也 可 以 根据 优 竺 宪法 人 两 个 后 代 中 选 一 个 好 的 . 还 可 以 把 
双亲 单子 法 与 变化 交配 法 各 多 交配 位 法 结合 使 用 . 

(5) 显 性 遗传 法 

对 双亲 中 的 基因 ,有些 是 具有 优 超 关系 的 ,这 些 基因 必 将 遗传 到 下 一 
人 ,如 父 民 让 =1101001, 父 代 B=0000010, 则 形成 子 代 1101011. 

(6) 单亲 遗传 法 

单亲 过 传 法 与 双亲 遗传 法 的 区 别 是 它 只 有 一 个 贫 代 ,下 一 代 的 产生 
通过 单亲 自身 的 基因 变 尼 . 如 选 定 一 个 单亲 ,随机 选 两 个 基因 位 置 ,将 两 
个 基因 位 置 的 元 素 进行 交换 或 选 定 两 个 交配 位 ,让 过 交配 位 之 内 的 基因 
倒 排 得 到 子 代 . 

另外 ,前面 说 至 ,这 些 方法 是 对 子 常规 码 的 方法 ,对 于 非常 规 码 ,这 些 
交配 方式 都 失效 了 . 如 对 个 整数 排列 的 非常 规 码 的 交配 方法 ,主要 有 非 
常规 码 的 常规 码 交 配 法 和 不 变 位 法 两 种 方法 . 

变异 能 够 导入 新 的 遗传 信息 ,使 寻 优 有 可 能 指向 未 探知 区 域 ,是 提高 
全 局 最 优 搜索 能 力 的 有 效 步 枝 . 同时 ,也 能 保持 群 迟 差异 , 盘 止 过 早出 现 
收 禹 现象 . 沛 见 的 变异 算 子 有 逆转 变异 、 对 换 变异 和 搬 人 变异 . 逆转 变异 
是 在 个 体 编 码 中 随机 选择 两 点 ,再 将 这 两 点 内 的 子 串 按 友 序 插 人 原 位 置 
中 . 对 换 变异 是 随机 选择 子 串 中 的 两 点 并 交换 其 数码 , 搬 人 数码 是 从 字 串 
中 随机 选择 一 个 码 ,将 此 码 搬入 随 宙 选 择 的 插入 点 中 间 . 其 他 的 还 有 连续 
逆转 变异 .进化 变异 和 湿 合 变异 等 - 

遗传 算法 尽管 能 解决 任意 函数 .高 维 空间 的 组 合 优 化 问题 ,但 由 于 在 
进化 搜索 过 程 中 ,每 代 要 维持 一 定 规模 的 群体 ,而 群体 大 小 的 选择 会 影响 
算法 的 使 用 ,群体 规模 过 大 ,包含 的 信息 量 也 会 天 ,使 得 计算 量 也 大 ,不利 
子 算法 实现 ,群体 规模 过 小 ,包含 的 信息 量 也 小 ,又 使 得 算法 得 不 到 充分 
发 挥 . 另外 由 于 喧 传 算法 中 最 重要 的 遗传 算 子 一 一 交叉 算 子 使 群体 中 的 
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染色 栖 上 其 有 局 部 相似 性 ,以 及 变异 概率 太 小 的 原因 ,也 使 搜索 转向 其 他 解 
空间 进行 搜索 的 可 能 性 很 小 . 这 些 都 使 得 遗传 算法 的 应 用 受到 限制 . 


18.5 神经 网 络 算法 


人 工 神经 网 络 ( 简 称 ANN)} 是 由 人 工 建造 的 ,以 有 向 图 为 拓扑 结构 的 
动态 系统 ,通过 对 连续 或 离散 的 输入 作 状 态 响 应 而 进行 信息 人 处理. 实质 上 
就 是 模仿 人 人 的 太 脑 的 工作 方式 而 设计 的 ,上 其 有 太 量 连接 的 并 行 分 布 式 好 
理 器 , 它 共 有 通过 学 习 获 取 知 识 并 解决 问题 的 能 力 ,并 且 知 识 分 布 存储 在 
连接 权 中 . 它 在 一 些 工 程 实 际 和 科学 研究 中 ,已 经 显示 了 很 大 的 威力 , 尤 
其 是 在 控制 优化 ,金融 项 测 和 管理 、 信 号 处 理 , 模 式 识 别 与 图 像 处 理 等 领 
域 得 到 非常 广 沁 的 应 用 . 

自 20 世纪 和 0 年 代 美 国生 理学 家 玉 . S. Mecullocn 和 数学 家 W. 上 和. 
Pitts 建立 第 一 个 数学 模型 一 一 二 值 神 经 元 模型 (M -P 模型 ) 以 来 ,ANN 
的 发 展 几经 兴 误 ,先后 提出 了 几 个 有 代表 性 的 模型 :感知 器 模型 (F. 
Rosenblatt,1957 年 )、 自 适应 线性 神经 元 Adaline 模型 ( Widrow ,1961 
年 ) 等 . 

ANN 有 单 层 积 多 层 之 分 ,每 一 层 包 会 若干 神经 元 , 即 信息 处 理 元 ,各 
神经 元 之 间 用 带 可 变 权 重 的 有 向 弧 连 接 , 网 络 通 过 对 已 有 信息 的 反复 学 
可 训练 ,逐渐 调整 改变 神经 元 连接 的 权重 ,最 终 达 到 外 理 信 息 、 模 拟 输 人 
输出 关系 的 目的 . 神经 网 络 技术 与 传统 的 数据 公理 方法 相 比 ,在 处 理 模 糊 
数据 ,随机 性 数据 、 非 线性 数据 等 方 而 具有 明显 的 优越 性 ,特别 对 大 规模 、 
结构 复杂 .信息 不 明确 的 系统 非常 适用 . 因为 它 只 需 知 道 能 引起 输出 变化 
的 非 恒 定性 因素 . 而 不 需要 很 多 其 他 参数 ,如 输入 输出 之 间 的 确切 关系 等 
参数 . 


18, 5.1 人 工 神经 网 络 的 基本 概念 


人 工 神经 网 络 模 型 是 基干 生物 学 中 的 神经 网 络 的 基本 原理 而 建立 
的 . 大 脑 的 一 个 重要 成 分 是 神经 网 络 . 神经 网 络 由 相互 关联 的 神经 元 组 
成 . 每 一 个 神经 元 由 内 核 . 输 突 和 晶 枝 组 成 . 晶 枝 形成 一 个 非常 精密 的 
“ 毛 刷 ”环绕 在 内 核 周 围 . 轴 突 就 像 一 根 管道 ,通过 它 将 内 核 的 信息 传递 
给 其 他 内 核 的 晶 枝 . 一 个 神经 元 通过 品 枝 接收 到 一 定 信息 后 ,对 信息 进行 
处 理 , 再 通过 它 所 控制 的 突 和 触 传递 给 其 他 的 神经 元 ， 

神经 元 分 “抑制 性 "或 “兴奋 性 "两 种 . 当 一 个 神经 元 的 唱 枝 接收 的 兴 
奋 性 信息 累计 超出 某 一 值 时 ,这 个 因 定 值 称 为 阅 值 . 如 神经 元 接收 到 其 他 
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神经 元 传递 的 信息 被 激活 ,并 传递 出 一 个 信息 给 其 他 神经 元 ,这 种 神经 元 
为 兴 畜 性 的 ;如 神经 元 虽然 接收 到 其 他 神色 元 传递 的 信息 ,但 没有 向 
外 传递 信息 , 称 神经 元 为 “抑制 性 ”的 . 

首先 来 看 二 值 神经 元 模型 (M ~ 了 模型). 

假设 一 个 神经 元 通过 上 马 枝 接 收 到 及 六 


个 信息 . 如 图 18 -2 所 示 . 人 
妃 | 表示 神经 元 对 第 i 个 上 蛙 枝 接收 到 Wy J 
信息 的 感知 能 力 , 称 为 关联 权 . 函数 


下 小 称 为 输出 函数 (激活 函数 ). M-P 


模型 的 输出 函数 定义 为 图 18 -2 
y = f(z) = sgn( wx, - 0), (18 - 3) 
1l, x > 人 0, 
其 中 sgn (x) 四 二 他 "9 称 为 病 值 


由 式 (18 -3 可 知 , 当 2 固定 时 ,对 给 定 的 一 组 输 人 (2 x,，…,*,》 ， 
可 计算 得 到 输出 值 . 机 使 计算 输出 的 值 与 实际 值 吻合 ,关键 是 确定 参数 
ww 人工 神 经 网 络 的 主要 工作 就 是 建立 模型 ,并 确定 w, 的 值 . 根据 人 工 神 
经 网 络 模型 建立 和 权 值 w, 的 确定 方法 的 不 同 ,神经 网 络 模型 分 为 前 向 型 
“也 称 前 馈 型 ) 人 工 神 经 网 络 和 后 向 型 (也 称 后 馈 型 ) 人 工 神 经 网 络 . 

前 向 型 人 工 神 经 网 络 的 特点 是 将 神经 元 分 为 层 , 每 一 层 的 神经 元 之 
闻 没 有 信息 交 芒 ,并 且 一 层 一 层 地 同步 计算 ,也 就 是 说 ,各 神经 元 接受 前 
一 层 的 输入 ,并 输出 给 下 一 层 , 没 有 反馈 . 结 点 分 为 两 类 , 即 输 入 单元 和 计 
算 单元 ,每 一 计算 单元 可 有 任意 个 输入 ,但 只 有 一 个 输出 . 

后 同型 人 工 神经 网 络 的 特点 是 将 整个 网 络 看 成 是 一 个 整体 ,神经 元 
之 间 的 信息 传递 关系 不 再 是 从 一 层 到 另 一 层 , 而 是 各 神经 元 之 间 存 在 着 
联系 . 也 就 是 说 ,所 有 结 点 都 是 计算 单元 ,同时 也 可 接受 输入 ,并 向 和 外界 
输出 . 

下 面 各 节 分 别 讨论 . 


18.5.2 人 工 神 经 网 络 的 基本 杰 型 


1，M -了 模型 

前 而 提 到 ,最 早 提出 的 神经 元 模型 是 页 -了 模型 ,M -P 模 型 是 大多 
数 神 经 网 络 模型 的 基础 .但 M -了 模型 在 发 表 时 没有 给 出 一 个 学 习 算 法 
来 调整 神经 元 之 间 的 连接 权 , 但 可 以 是 用 一 些 常见 算法 ,如 Hebb 学 习 规 
则 来 调整 神经 元 连接 校 , 以 达到 学 习 的 自 的 . Hebb 学 习 规 则 调整 w; 的 原 
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则 为 : 若 第 和 第 j 个 神经 元 同时 处 于 兴奋 状态 , 则 两 者 之 间 的 连接 应 当 


加 强 , 即 
Aw, = Ou ur,, 
其 中 “表示 学 习 速 率 的 比例 常数 . 
2 感知 器 模型 


若 只 有 一 个 输 和 人 层 与 一 个 输出 层 称 为 简单 感知 器 . 简单 感知 器 模型 
仍然 是 半 -了 模型 的 结构 ,两 者 的 区 别 在 于 神经 元 之 阿 的 连接 权 的 变化 ， 
感知 器 的 连接 权 定 义 为 可 变 的 ,这 样 就 被 赋予 了 学 习 的 功能 . 

感知 器 的 处 理 单元 对 个 输入 进行 加 权 和 操作 , 即 


y =f( VY wx, -0), (18 ~ 4) 


其 中 w, 指 第 工 个 输 人 到 处 班 单元 的 连接 权 值 ,8 为 阅 值 . 感知 器 的 输出 了 
通常 定义 为 阶 牙 吨 数 : 


1 ， ye i 

y= 
0， 3》 wx -0 0. 

=1 


感知 器 的 学 习 是 通过 监督 学 习 过 程 来 实 理 的 . 样本 矢量 了 输入 到 感 
知 吕 中 ,感知 器 中 的 各 处 理 单元 按 (18 -4) 式 来 计算 ,得 到 实际 输出 7, 将 
其 与 期 望 输 出 4 的 差 来 修正 下 一 计算 步 的 权 值 . 简单 感知 器 的 学 习 算 法 
称 为 误差 学 习 算 法 ， 

算法 18. $3 

输入 给 定 值 ， 

中 选择 一 组 初始 权 值 w,(0); 

民 ; 计算 误差 8=d 一 Yi 

加 若 8<k? 

是 ,停止 计算 ， 

否 , 转 中 ; 

名 更 新 权 值 ( 阅 值 可 视 为 输入 恒 为 1 的 一 个 权 值 )} 

Aw (lt +t1) = w(t+1) -w(t) = nd -— yO) ws 

地 重复 全 一 是, 直到 满足 要 求 . 

式 中 必 为 学 习 步 长 , 它 是 区 间 (0,1) 上 的 一 个 常数 , 取 值 与 训练 速度 
和 ww 收 绩 的 稳定 性 有 关 ,d4,y 为 神经 元 的 期 望 输出 和 实际 输出 ,x, 为 神经 
元 的 第 i 个 输入. 
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如 果 在 输入 和 输出 层 和 则 加 上 一 层 隐 会 层 的 神经 元 , 称 为 宪 层 感知 器 ， 
则 构成 密 层 前 向 网 络 . 多 层 感 知 器 只 人 允许 调节 一 层 的 连接 权 ,这 样 无 法 给 
出 一 个 有 效 的 亏 层 感知 器 学 习 算法 . 

3， 自 适应 线性 神经 元 

自 适应 线性 神经 元 是 一 种 连续 时 间 线 性 网 络 ,主要 用 于 自 适 应 系统 
等 一 些 连续 可 调 过 程 . 

模型 通过 输入 理想 响应 心 , 用 类 似 于 误差 学 习 的 算法 LMS 算法 来 训 
练 神 经 元 . 该 方法 通过 调整 单个 神经 元 的 权 值 ,使 神经 元 的 实际 输出 与 理 
想 输出 的 善 为 最 小 . 

LMS 算法 是 采用 误差 最 速 下 降 准 则 ,使 用 的 误 芋 测度 函数 为 沟 方 误 
任 . 系统 权 向 量 可 从 任意 初始 值 开始 ,然后 计算 均 方 误差 函数 的 梯度 , 权 值 
依 负 梯度 变化 . 不 断 重 复 此 过 程 ,使 平均 误差 不 断 减 少 , 达 到 优化 目的 . 即 

Wi = Ww + A VY,), 《18 一 5》 

其 中 ws 为 当前 权 值 ,wi,, 为 下 一 步 权 值 ,py 为 学 习 和 参数 ,为 均 方 误 蔗 
曲面 上 对 应 于 w=w, 的 梯度 值 . 


设 均 方 误 芋 梯度 耳 数 为 ; 
1 2 
E= F(a(T(s- Tw))), qs 
其 中 , di 为 在 了 输出 单元 的 期 望 输出 ,第 /单元 的 实际 输出 为 
Yi 二 ,wyxr. 


(18 -6) 可 记 为 E= 也 [六 (4 - wx)]， 


其 中 zx, 为 当前 模式 输入 向 量 . 
a dE 
定义 瞬时 速度 为 WV, = 和 = (di — WX IT = — eX, 
由 (18 - 6) 知 Wi = Wi + pd - Wx ) Lr,, 
即 AW, = HELX,. 【1 -了 ) 
由 于 是 采用 几时 梯度 下 降 来 训练 网 络 权 值 ,所 以 LMS 算法 实际 上 是 
一 种 近似 的 梯度 下 降 , 它 偏 部 了 王 真 正 的 梯度 下 降 方向 ,但 这 种 偏离 当 


学 习 速 度 岂 很 小 时 可 以 忽略 不 计 . 
若 要 实现 全 局 误差 函数 马上 的 梯度 下 降 , 则 w, 的 变化 应 正比 于 负 
平均 梯度 . 即 
og ~ 五， 
As = 人 = BE(-em); (18 - 8) 
LMS 算法 的 步骤 为 : 
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Wi = t+ — ex, (18 EE 9) 


其 中 ,sx 为 当前 误差 ,a 为 学 习 步 长 ,一 般 取 为 0.1 <a<1.0,1x,1” 为 权 


值 个 数 - 
记 £, = d, — XiWw,, 
T T 
则 A = 点 ( — XW) = — XAW,, 
由 (18 -9) 有 AW; = Wi — W, = ET 
| x, | 
T 让 T 在 
蕉 MA. =— Kr 1 = tT + 
x, | | x, 


下 面 给 出 LMS 学 习 算 法 步骤 : 
算法 18.9 

中 初始 化 wa, ad, ,6; 

鲍 选择 一 输入 样本 x; 

电 计算 输出 7; 

四 计算 se <87 

是 , 停 下 计算 ， 

否 , 转 @，; 

( 计算 Bw 


18.5.3 前 向 型 人 工 挤 经 网 络 


前 向 型 人 工 神经 网 络 的 计算 一 般 分 为 两 个 阶段 :学 习 阶 段 和 工作 阶 
段 . 第 一 阶段 是 学 避 阶 段 , 此 时 各 计算 并 单元 状态 不 变 , 各 连 线 上 的 权 值 
可 通过 学 习 来 修改 ,所 以 这 个 阶段 的 主要 工作 就 是 :在 选择 网 络 模型 和 学 
习 规则 后 ,根据 已 知 的 输 和 人 和 输出 学 习 数据 ,通过 学 习 规则 确定 神经 网 络 
的 权 值 wi ,w: ,…,w,, 这 个 阶段 的 输入 是 学 习 数据 中 的 输 人 数据 ,通过 人 
工 神经 网 络 的 输出 同学 习 数 据 中 的 理想 输出 数据 的 比较 ,确定 神经 网 络 
中 的 权 值 ;第 二 个 阶段 是 工作 阶段 ,此 时 单元 状态 变化 ,在 权 值 确定 的 基 
础 上 ,用 带 有 确定 权 值 的 神经 网 络 去 解决 实际 问题 . 所 以 这 个 阶段 的 主要 
工作 是 :根据 第 一 个 阶段 确定 的 模型 和 得 到 的 权 值 ,在 输 人 实际 问题 的 
输入 数据 后 ,得 出 一 个 结论 . 

依据 前 向 型 神经 网 络 的 层 数 又 可 分 为 单 层 前 向 神经 网 络 和 多 层 前 向 
人 工 神经 网 络 . 

1. 单 层 前 向 神经 网 络 

单 层 前 向 神经 网 络 模型 如 图 18 -3 所 示 : 
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图 18 -3 


在 单 层 前 向 神经 网 络 模 型 中 ,中 有 一 个 输入 层 和 一 个 输出 层 , 输 入 层 
中 的 每 个 元 素 表 示 轴 突 ,输出 层 中 的 每 一 个 元 素 代 表 一 个 神经 元 的 内 核 . 
单 层 前 向 神经 网 络 中 各 层 中 的 元 素 无 权 值 格 连 ,输出 层 通过 输入 是 的 输 
大 数据 与 理想 输出 结果 的 比较 来 确定 权 值 .再 用 确定 了 权 值 的 神经 网 络 
应 用 到 实际 问题 中 . 

记 输 入 变量 为 x = (xz ,xs 输出 结果 为 了 = (7 ayw) ， 
阀 值 玫 = (9,6,,… ,0,.)】' ,ww 表示 输 入 i 与 神经 元 1 的 权 值 , 则 第 j 个 神经 


元 接收 到 的 值 为 ; 
y= A TF wx, 8) = 12 en, (18 -10) 
Ww Ws 
记 W = 2 多 WwW» 
Wn Wr Wn 
矩阵 表示 为 y =f(Wr- 0). 
依据 激活 函数 的 类 型 ,可 以 把 单 层 前 向 型 神经 网 络 分 为 线性 网 络 各 
非 钱 性 网 络 - 
如 果 一 个 神经 网 络 的 激活 函数 是 线性 函数 ,满足 : 
flcz) = cflz), (18 - 11) 


fx +7) = f(x) + f(y), 
其 中 上 是 一 个 实 常数 ,xz,y,z 为 实 变 量 值 , 则 称 之 为 简单 神经 阿 络 . 


如 简单 神经 网 络 如 果 满 是 了 = wx 《18 — 12) 
J}., = (0 Xa (C18 13) 


从 {18 -13》 式 可 知 ,每 个 神经 元 的 输出 只 与 其 相关 的 权 值 和 输入 有 
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关 , 因 此 ,mn 个 神经 元 是 相互 独立 的 ,所 以 可 以 采用 单个 神经 元 研究 其 神 
经 网 络 的 特性 . 

如 果 一 个 神经 网 络 的 激活 函数 是 非 线 性 函数 时 , 则 称 之 为 非 线 性 神 
经 网 络 . 常见 的 非 线 性 函数 有 以 下 几 种 : 

(1) 符号 函数 :7(z) = 

0 (其 他 ); 

(2) Sigmold 形 函 数 :(z) = 一 一 

神经 网 络 具有 学 习 功 能 ,这 种 学 习 归 结 为 神经 元 连接 权 的 变化 . 我 们 
需要 采用 一 些 常见 的 算法 来 调整 神经 元 连接 权 , 以 达到 学 习 的 目的 . 常用 
的 学 习 算法 如 Hebb 规则 和 最 小 二 乘 学 习 规则 等 ， 

2. 多 层 前 向 神经 网 络 

日 前 人 工 神经 网 络 应 用 较 多 的 是 BP 网 络 模型 ,BP 神经 网 络 是 一 种 
多 层 前 局 神经 网 络 , 这 是 1985 年 Rmelhar 等 提出 的 , 它 系统 地 解决 了 多 
层 神经 元 网 络 中 隐 单 元 层 连接 权 的 学 习 问 题 . 

多 层 神经 网 络 模 型 的 拓扑 结构 如 图 18 -4 所 示 . 它 由 输入 层 、 中 间 层 
( 隐 层 ) 和 输出 层 组 成 . 中 间 层 可 以 是 一 层 或 多 层 的 . 相 邻 层 各 种 神经 元 
间 形 成 完全 连接 关系 ,而 同一 层 内 各 种 神经 元 之 间 没 有 任何 连接 关系 , m 
个 输 人 信号 从 输 人 层 进 人 网 络 ,经 激活 函数 变换 后 到 达 隐 层 ,然后 再 经 激 
活 函 数 变换 到 达 输 出 层 构 成 上 个 输出 信号 ,所 以 BP 神经 网 络 是 一 个 从 mm 
维 空间 R" 的 输 人 到 n 维 向 量 R* 的 输出 的 高 度 非 线性 映射 


输入 层 。 隐 层 。 隐 层 输出 层 


图 18 -4 


BP 网 络 的 学 习 过 程 分 为 正 向 传播 和 反 向 传播 两 部 分 . 当 正 向 传播 
时 , 输 大 信号 从 输入 层 经 隐 含 层 处 理 后 传 向 输出 层 ,每 一 层 神 经 元 的 状态 
愉 影 响 下 一 层 的 神经 元 状态 . 若 输 出 层 得 不 到 希望 的 输出 , 则 转 人 反 癌 传 
播 , 将 误差 信号 沿 原 来 的 神经 元 连接 通路 返回 ,返回 过 程 中 ,逐一 妖 改 各 
层 神经 元 连接 的 权 值 . 
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对 于 图 18 -4 的 前 向 多 屋 网 络 , 设 有 个 训练 样本 , 即 p 个 输入 -- 输 
出 对 (x4,T) ,k=1,2,…,p). 其 中 ,x; 为 第 上 个 样本 输入 向 量 x = (x ， 
ze) 型 为 输入 向 量 维 数 ; 思 为 上 个 样本 期 望 输出 向 氢 :# = 
(fotos stin) ,NN 为 输出 向 量 维 数 . 0; = (ou oo,…,euw) 为 网 络 的 实 
际 输出 向 量 . w; 为 前 一 层 第 i 个 神经 单元 输入 到 后 一 层 第 ;个 神经 单元 的 
权重 . 

当 神 经 元 为 输入 层 单 元 时 ,0 = 3 

现 采 用 5 型 函数 作为 激发 函数 ,对 第 站 个 样本 第 了 个 网 络 神经 元 所 
的 状态 定 区 为: 
Net, = DY, wo, + 0,, 


则 第 了 个 神经 元 的 输出 为 : 
1 1 
一 Ne 二 
0 A 起 ] + ey 1 + expf _ 3 WO 时 0,) 3 


其 中 ,8 为 单元 世 的 阅 值 - 此 时 


do 


fF'(Ner,) = BNet, = otl O06), 
则 对 输出 层 单 元 i = (ty a 好 人 05 1 
对 隐 层 单元 6 二 2 ou) ,Bin ， 
权 值 调节 为 Awtt +1) = BO 


其 中 站 为 学 习 速 率 .9 是 按 梯 度 接 索 的 步 长 ,nm 越 大 , 权 值 的 变化 越剧 烈 ， 

BP 算法 把 一 组 样本 的 输入 输出 问题 变 为 一 个 非 线 性 优化 问题 ,使 用 
了 优化 中 最 普通 的 梯度 下 降 法 - 采用 了 迁 代 运算 求解 权 值 . 通过 加 入 隐 层 
节点 单元 使 优化 问题 的 可 调 参 数 增 加 ,从 而 得 到 更 精确 的 解 . 算法 的 实现 
步骤 为 : 

算法 18,. 10 

全 普 各 种 权 值 或 阐 值 的 初始 值 :ws(0) ,940) 为 小 的 随机 数值 ; 

名 提供 训练 样本 ,输入 矢量 ,期 望 输出 d; 

名 计算 网 络 的 实际 输出 及 隐 层 单元 的 状态 : 


Og 元 A 之 Wi + 9}; 


地 计算 训练 误差 
全 = opt!l -00) (i 一 本 ‘输出 层 )， 
6, = auf1l — 00) DY But ( 隐 含 层 ); 
避 修正 权 值 和 阅 值 
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w(t +1) = 加 (有 十 人 60 + alw(t) -wlt—1)], 
BE+1) = 人 (二 WG+TCG[BID -a(t—-1)]; 

地 对 下 一 输入 样本 重复 四 一 电 , 判 断 指标 是 否 满足 精度 要 求 :互生 e， 
2 为 精度 ， 

BP 模型 虽然 应 用 很 广泛 ,但 BP 算法 本 身 也 有 不 足 . 如 它 学 习 算 法 
的 速度 则 ,网 络 隐 层 节点 数 的 选 起 有 育 目 性 ;新 加 入 样本 对 已 学 完 的 样本 
有 影响 等 ,所 以 对 BP 算 法 有 一 些 改 进 算法 ,如 Yogl 快速 算法 ,二 阶 BP 
算法 ,二 阶 快 速 BP 算法 等 等 - 


18. 5.4 ”反馈 型 神经 网 络 一 一 Hopfield 模型 


反馈 型 神经 网 络 有 离散 型 种 连续 系统 丙 大 类 ,主要 取决 于 是 用 微分 
方程 还 是 用 差分 模型 描述 . 它 的 一 般 结 构 如 图 
18 -5 所 水 ， 

Hopfield 杰 型 是 上 典型 的 反馈 型 神经 网 络 , 是 
.J Hopfield 和 D, W. Tank 在 1985 年 提出 的. 
Hopfield 网 络 可 以 用 来 解决 联想 记忆 和 约 东 优化 
问题 的 求解 , 他 们 通过 构造 描述 某 一 给 定 组 合 优 
化 问题 的 能 量 晃 数 ,并 反 过 来 由 能 量 否 数 构造 出 
一 个 ANN 模型 ,找到 了 获得 NP 问题 近似 最 优化 的 方法 . 

Hopfield 模型 神经 网 络 基 多 个 神经 元 相互 组 合 的 网 络 ,并 且 神 经 元 
之 癌 的 相互 结合 强度 是 对 称 的 , 即 w, =w,, 当 w=0 时 , 称 之 为 无 犁 反馈 
的 Hopfield 网 络 ,否则 , 称 之 为 自 反 局 的 Hopfield 网 络 . 

Hopfield 网 络 有 异步 和 同步 两 种 工作 方式 . 车 在 任 一 时 刻 与 只 有 某 
一 个 神经 元 发 生变 化 ,而 其 余 神 经 元 的 状态 保持 不 变 , 称 为 异步 方式 ; 若 
有 部 分 或 全 部 神经 元 发 生变 化 , 称 为 同步 方式 . 

由 放 个 神经 元 构成 的 神经 网 络 ,第 i 个 神经 元 在 1 时 刻 所 接受 的 其 
他 碎 -1 个 神经 元 输入 信和 叶 的 总 和 (四 为 

u(t) = DY wu lt) — 8. 


用 符号 函数 作用 十 4,(1) ,得 到 :+1 时 刻 的 第 i 个 神经 元 的 输出 值 
w(t+1). 故 当 某 神经 元 输入 端 接受 的 信号 强度 超过 .1) 的 某 个 阅 值 6 
时 ,该 神经 元 成 兴奋 状态 . 

下 而 给 出 Hopfield 模型 的 算法 - 

算法 19. 11 

CD 在 网 络 中 随机 选择 一 个 神经 元 ; 
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加 求 所 选 神经 元 i 的 输 人 总和; 

ut) = DY wut) -0.; 
鲜 检查 (1) 宕 0? 业 
荐 , 则 ns,tr+1}=1， 
否 , 则 u(t+1) =0; 
加 神经 元 i 以 外 的 神经 元 7 状态 不 变 ; 

wt+1) = u(t); 

坊 转 册 . 
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1.1 Matlab 简介 


1,1,1 数学 软件 


熟 番 计算 机 的 人 会 接触 各 式 各 样 的 软件 ,诸如 系统 软件 .编译 软件 、 
应 用 软件 、 杀 毒 软件 等 等 . 20 世纪 30 年 代 以 来 ,一 类 新 的 计算 机 软 
件 一 一 数学 软件 问世 , 即 所 谓 3M 软件 . 

1980 年 ,Wolfram 公司 推出 Mathematica 软件 ;1982 年 ,三 athwerks 从 
司 推出 Matlah 软件 ;此 后 Materioo 大 党 又 推出 一 套 教学 软件 , 即 Maple 
软件 . 

王 述 二 种 软件 成 为 当今 世界 上 最 流行 的 数学 软件 ,它们 为 解决 现代 
科学 计算 ,工程 技术 问题 .生产 经 营 管理 问题 提供 了 重要 工具 ， 

Mathematica 软件 着 重 符 叶 运算 , 作 图 功能 ;Matlab 软件 着 重 数 值 计 
算 ,模拟 功能 :Maple 软件 则 是 强大 的 教学 软件 . 


1.1.2 和 什么 是 Matlab 


Matlab 的 直接 含义 是 矩阵 实验 室 ( Matrix laboratory ). 最 初 , 它 是 为 两 
个 矩阵 软件 包 ( Linpack ,Fispack) 提供 接口 技术 ,以 后 逐渐 发 展 成 为 通用 
科技 计算 ,视图 交 刁 系统 和 程序 语言- 

Matlab 语言 区 别 寺 其 他 高 级 语言 (如 Fortran 语言 ,tt 语言} 的 最 大 特 
点 是 它 的 编辑 .编译 ,连接 和 执行 等 四 个 步 纤 融 为 一 体 . 它 能 在 同一 画面 
上 进行 灵活 操作 ,快速 排除 输入 程序 中 的 书写 、 语 法 万 至 语意 方面 的 错 
误 ,从 而 趣 快 了 用 户 编写 .修改 和 调试 程序 的 速度 . 

与 其 他 高 级 语言 比较 ,Matlah 的 诸 法 规则 简单 ,更 加 贴近 人 的 思维 方 
式 . 用 Matlab 写 程序 ,犹如 在 一 张 演 算 纸 上 排 列 公 式 和 求解 问题 ,编程 效 
率 很 高 - 因此 有 人 称 它 为 “演算 纸 式 " 科 学 工程 的 算法 语言 .下 面 我 们 举 
例 说 明 Matlab 的 一 些 基 本 特点 . 

(1) 基 本 数据 单位 是 矩阵 或 数组 ,日 无 须 定义 矩阵 或 数组 的 维 数 , 直 
接 输 入 . 
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下 幕 ”约束 最 忧 北方 法 


例 1 输 人 两 个 三 维 矩 阵 4 ,了 ,在 Matlab 的 命令 空间 (Command) 发 
布 命令 (指令 ) 


a=[1 2 3;4 5 6;7 8 9]; 
b=[1 4 7;8 9 10;11 12 


13] ; 
也 可 写成 

a=[l1 2 3 
4 6 
7 9]; 

b=[1 4 7 
8 9 10 
ll1 12 13]; 


注 若 在 上 述 命令 中 不 加 分 号 而 直接 键 人 回 车 换行 键 , 则 屏幕 草 示 : 


总 二 


1 2 3 

4 5 56 

7 8 9 
b= 

1 4 了 

8 9 10 

ll 12 13 


若 加 分 号 再 键入 回 车 换行 键 , 则 此 时 光标 转 人 第 二 行 ， 


{2) 指令 表达 与 数学 习惯 和 工程 中 的 常用 习惯 相似 ， 
例 2 矩阵 的 加 \ 减 、 乘 . 


在 命令 空间 发 布 指令 : 
a=[1 2 3;4 5 6i7 8 9]; 
b=[1 4 7;8 9 10;11 12 13 ] ; 


4 = a+hb 
屏幕 显示 : 
心 一 
2 16 10 
l2 14 16 
18 20 22 
在 命令 空间 发 布 指令 : 
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*=[2 3 4 5 2 2 1]; 
y=[I0 1 1:l 1 0;0 0 1;] 0 01; 
中 = XxX*Yy 
屏幕 显示 
z = 
8 5 £6 
3 3 3 
例 3 在 Matlab 中 ,矩阵 的 除法 用 于 解 线 性 方程 组 ， 
设 4x = 二 ,其 中 4 为 方 阵 ,z 为 列 向 量 ,& 为 列 向 量 , 则 指令 为 
x = ab = invta} *b (Ria'by 
设 z4 = 二 ,其 中 Y 沁 均 为 行 向 量 . 则 指令 为 
x = bra = b*inv(a) (RH ba …)》 
注 在 指令 ab 中 ,a 为 方 阵 ,b 为 列 向 量 (a,b 同行 数 ). 若 输 人 时] 
为 行 向 量 , 则 应 写成 avb“ 
(3) 易于 扩展 ,允许 用 户 自 定 六 出 文件 ,从 而 扩大 内 部 函数 的 功能 . 
Matlab 有 大 莉 的 内 部 冰 数 ,可 以 在 命令 空间 直接 调用 .为 了 扩大 内 部 
函数 的 功能 ,还 允许 用 户 自 己 定 交 则 文件 (包括 冰 数 文件 和 文本 文件 )- 
M 文件 在 编辑 空间 (Edit) 编写 .在 谷 令 空间 调用 . 我 们 称 自 定义 的 也 奖 
忻 为 时 部 好 数 . 
例 4 设 
1 1 


4) = OI ro0 0 7004- 
式 中 ,x* E[ -1,21, 雇 步 长 海 0.01, 试 计算 六 x} 的 值 ,并 画 出 图 形 , 在 求 
让 YY) 的 极 赴 点- 
和 解 ”求解 上 述 问题 ,可 分 述 为 如 下 三 个 步骤 ， 
中 自 定义 Matlab 的 外 部 库 数 .命名 为 于 咽 
在 Matab 的 编辑 空间 录入 网 行 : 
function y =f(x) 
y=1. /x-0.3). 2 +0.01) + -0.9).2 +0.04) -6; 
加 将 上 述 阔 数 文件 f.m 存盘 . 
有 两 种 存盘 方式 ,一 种 是 将 该 交 件 存 入 Matlab 的 文件 夹 bn 中 ,此 时 
在 存盘 对 话 框 中 选取 “m 文件 格式 ”, 以 后 调用 该 文件 时 ,在 命令 空间 直 
接 发 布 命令 : 
f 
另 一 种 存 系 方式 是 将 文件 存 人 其 他 文件 夹 中 ,此 时 在 存盘 对 话 框 中 


6 
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选取 "所 有 文件 略 式 ”, 以 后 调用 该 文件 时 要 首先 确定 路 径 . 例如 , 若 将 文 
忻 f.m 存 人 CC 总 中 的 交 件 来 My Documents 中 , 即 
C:\My Documents\f, m 
要 在 命令 空间 调用 f.m, 则 需要 Matlab 的 内 部 函数 path 显示 当前 Matlab 
的 搜索 路 径 , 即 在 命令 空间 发 布 如 于 指令 : 
Path('C:\My Documents' ,Path ) 
f 
名 在 盘 文件 fm 后 退出 编辑 空间 ,进入 Matlab 的 命令 空间 ,发 布 如 
下 指令 : 
x= -1:0.01:2; 
¥ =f(x) 
屏幕 显示 出 所 x) 的 300 个 函数 值 . 
车 发 布 如 下 指令 : 
x= -1:0.01:2; 
plot(x,f(x)) 
屏幕 显示 出 碎 *) 的 图 形 ( 见 图 耳 - 1) 


100 
80 


的 


-0 05 1 1's 2 


图 下 -1 

车 发 布 命令 : 

xm =fmin('f',0.5,1) 

屏幕 显示 (x*) 在 0.5 ~1 之 间 的 一 个 极 小 点 , 妈 
xm = 
0,637 0 

当 求 其 极 小 值 时 ,可 发 布 指令 : 

y={(xm) 
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屏幕 显示 .A(x) 在 极 小 点 xm 处 的 极 小 值 : 
YY 三 
11. 252 8 
上 面 我 们 用 了 二 个 主 程序 分 别 完 成 例 4 的 三 项 要 求 ( 计 算 .画图 、 求 
极 小 点 ) ,其 实 我 们 可 以 用 一 个 文本 文件 来 完成 这 三 项 要 求 . 首先 在 编辑 
空间 写 人 六 本 文件 L. m, 它 包含 如 下 指令 : 
= -1:0.01:2; 
y=f(x); 
plot(x,f(x)); 
xm =fmin(’f’.0.5,1) 


将 文本 上 . m 在 编辑 空间 存盘 ,然后 在 命令 空间 运行 , 即 
L.m 
屏幕 将 陆续 显示 天 xz) 的 值 `. 图 形 和 一 个 极 小 点 "xm”. 
在 上 述 指令 中 zx) 是 外 部 牙 数 5 自 定 义 }, 它 必须 在 编辑 空间 中 编写 
存盘 后 方 可 调用 ; 面 Plot ,fmin 等 是 内 部 小 数 , 它 可 在 命令 空间 直接 调用 . 
‘4) Matlab 易学 易 用 
在 前 面 的 四 个 例子 中 ,以 下 指令 : 


c=a+b, =XxX*， x=a\b, xm =fmin(t 'f',0.5,1) 


与 数学 习惯 十 分 相似 ,易学 易 用 . 而 这 些 指 令 着 用 其 他 高 级 语言 来 编写 则 
相当 困难 ,它们 需 用 Fortran 或 C 语言 的 几 十 条 或 几 百 条 语句 才能 完成 - 


1.1.3 Matlab 的 主要 用 途 


Matlab 软件 的 主要 用 途 如 下 : 

《1) 作为 高 等 学 校 有 关 课 程 的 基本 教学 工具 - 例如 数学 实验 .数学 建 
模 、 实 用 线性 代数 、 数 值 分 析 、 最 优化 方法 、 最 优 控 制 、 数 理 统 计数 字 信 息 
处 理 , 时 间 序 列 分 析 凡 动态 系统 仿真 等 课程 均 适 宜 使 用 Matlab 作为 教学 
工具 . Matlab 软 忻 是 大 学 本 科 生 、 春 士 生 \ 博 士 生 必须 掌握 的 基本 技能 . 

(2) 在 工程 领域 , Matiab 提供 的 工具 箱 以 及 由 轩 文 件 扩 屡 的 工具 箱 
成 为 工程 师 进 行 设计 ,科研 的 强 太 工具- Matlab 由 主 包 (会 几 百 个 核心 的 
内 部 函数 ) 和 30 密 个 工具 箱 (《Toolhor) 构 成 ,而 Toolbor 可 分 为 两 类 : 

功能 性 工具 箱 扩充 Matiab 的 符号 计算 功能 .图 视 建 模仿 真 功 能 、 
立 字 处 理 功 能 .硬件 实时 互 换 功能 . 

学 科 性 功能 箱 各 种 专业 工具 ,例如 ,Dptimal Toolbox,Control Tool- 
box, Communication Toolbox, Signal Toolbox 等 等 . 
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1.1.4 几 点 说 明 


(1) 在 Matlab 语言 中 ,英文 字母 大 小 写 要 加 以 区 别 , 如 和 与 a 代 表 
不 同 的 变量 . 

(2) 所 有 的 内 部 函数 .外 部 函数 名 均 由 小 写字 母 构成 ,如 inv(a) 有 
意义 ,但 INY(a) 无 意义 . 

(3) 标识 符 ( 变 量 , 叫 数 ) 以 字母 打头 ,最 多 19 个 字符 . 

(4) help( 内 部 命令 ) 提 人 殿 在 线 帮助 ,如 调用 helpfmin 将 显示 内 部 项 
数 fmin 的 内 容 . 

(5) demo( 内 部 函数 ) 提 供 功能 演示 ,在 Matlab 的 Command 空间 中 
一 个 菜单 项 Heip ,在 其 下 拉 菜 单 中 有 一 个 子 菜单 Examples and Der- 
mos ,其 中 列 出 了 最 优化 方法 的 各 种 算 例 . 

(6) path( 内 部 函数 ) 显 示 当 前 Matlab 搜索 路 径 . 


1.1.5 和 矩阵 运算 


Matlab 在 进行 矩阵 运算 方面 ,显得 特别 简捷 、 高 获 和 方便 
例 5 矩阵 尊 数 运算 
输入 矩阵 
a=[1.5 1.1 1.3;2.1 2.3 2.5; 3.3 3.5 3.1] 
屏幕 显示 : 


蚂 一 
1. 5000 1 1000 1.3000 
2. 1000 2.3000 之 . 5000 
3.3000 3.5000 3.1000 


求 刀 的 转 置 . 发 布 指令 : 
区 
1. 5000 2. 1000 3. 3000 
1. 1000 2.3000 3. 5000 
1. 3000 2. S000 3. 1000 
注 第 一 个 指令 中 输入 矩阵 指定 了 赋 信 变量 a, 其 后 未 加 分 号 ";”， 
故 键 人 回 车 符 后 直接 显示 变量 名 a 的 结果 ;第 二 个 指令 中 , 转 置 矩阵 未 指 
定 赋值 变量 , 故 键 入 回 车 符 后 显示 变量 名 “ans” 的 结果 . 
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求 和 的 逆 ,发布 指 令 : 


inv(a) 
ms = 
1. 9565 —1.3768 0. 2899 
一 2. 1014 -0.4348 1. 2319 
0. 2899 1.9565 —1.3708 
求 4 的 特征 值 ,发 布 指令 : 
eig( a) 
ans = 
6. 9000 
0. 3464 
—D. 3464 


对 和 丰 作 LU 分解, 发 布 指令 : 
[L,U] =lu(a) 


L= 
0, 4545 1. 0000 0 
0. 6364 -0.1481 1.0000 
1. 0000 0 0 
TU = 
3.3000 3.5000 3. 1000 
0 -0.4909 ”一 0 1091 
0 0 0. 5111 


关于 和 矩阵 函数 运算 的 内 容 还 很 多 ,如 对 和 矩阵 进行 正 交 蛮 换 、 奇 异 值 分 解 、 
求 矩 阵 的 特征 值 和 特征 向 量 \ 求 短 阵 的 种 条 件数 以 及 建立 第 阵 函 数 ,等 等 . 
例 6 矩阵 的 截取 与 合成 
输入 短 阵 a=[1 2 3;4 5 6;7 8 9;10 11 12 ] ; 
指令 a(i,:) 表 示 到 第 i 行 所 有 的 元 率 ;a(: ,i) 表示 取 44 的 第 i 列 所 有 的 
元 泰 . 例如 发 布 指令 : 
atd,:) 〈 取 4 的 第 4 行 ) 
3n3 二 


10 11 12 


all:3,:) (到 44 的 第 1~3 行 ) 
ns 三 

1 意 六 

4 5 6 
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a( :1 :2) ( 取 息 的 第 1~2 列 ) 


和 
tn 


10 11 
af : ,3) 《 取 和 4 的 第 3 列 ) 


12 
综 上 ,ali,:) 表 示 取 第 i 行 所 有 的 元 素 ,al:,j) 表 示 取 第 j 州 所 有 的 
元 素 ,ati;j,;) 表 共 取 第 i 行 至 第 j 行 所 有 的 元 素 ,al ; ,i:j) 表 示 取 第 i 列 
至 第 j 列 所 有 的 元 素 . 
设 丰 是 例 6 中 的 输入 和 矩 阵 , 再 输入 ,有 即 
r=[13 14 15]; 
发 布 指令 : 
[air] 
即将 rr 添 人 到 有 的 最 后 一 行 合 成 新 的 矩阵 ,屏幕 显示 : 


ans 一 


10 11 12 
13 14 15 
也 可 以 指定 赋值 变量 5, 即 
b=[a;[13 14 15]] 
b= 


i9 11 12 
13 14 15 
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例 7 和 抢 阵 的 除法 ( 左 除 ”与 右 除 ”). 
设 丰 是 mxm 阶 方 阵 ,8 是 mxn 阶 惩 阵 且 det(4) 天 0, 基 命令 为 
A\B A*Z=B (2Z 是 mxn 阶 矩 阵 ,等 价 于 解答 阵 方程 ) 
所 AZ =B ji =1…:a 等 价 于 解 上 个 线性 方程 组 ) 
Zi) =AVBC:) =inv( A # BC:,)) 
(=1,…,n; 求 得 个 方程 组 的 解 》 
A/B = (ABY’ 
例 8 矩阵 的 除法 (点 左 除 *.\" 与 点 右 除 ". 人 ) 
设 生 . 召 均 为 于 xp 阶 筷 阵 ,A.AB 表示 吾 的 所 有 元 吉 分 别 钙 4 的 
所 有 对 应 元 素 相 除 后 所 形成 的 说 xa 阶 矩阵 区 AZ7B "表示 4 的 所 有 元 素 
分 别 被 B 的 所 有 对 应 元 素 相 除 后 所 形成 的 m xn 阶 和 矩阵 ， 
输入 以 于 指令 : 
起 =[1 2 3]; 
B=[4 5 #6]; 
C=A.‘\B 
屏幕 显示 : 
C= 
4. 0000 2. S000 2. 0000 
D=A.AB 
屏 旭 显示 : 
D = 
0. 2500 0. 4000 0., SO00 
例 9 特殊 秆 阵 ( 友 矩阵 、 零 矩阵 、 常 值 答 阵 ) 
友 短 阵 (compan) 
设 三 次 多 项 式 为 x* -7x +6, 欲 求 该 多 项 式 的 零点 , 即 求 x 一 x+6= 
0 的 三 个 根 . 
解 输入 
p=[1 0 -7 石 ] ; 
a = compan( py 


屏幕 显示 : 


再 输 人 
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eigt 2a) 
ans 三 
-3.0000 
2. 0000 
1, 0000 
友和 矩阵 4 的 三 个 特征 什 即 为 所 给 三 次 多 项 式 的 三 个 零点 
零 矩 阵 (zerosy ; 
zeros(1,j) 表示 产生 i xj 阶 的 零 粉 阵 ;zeros( size(a)) 表 示 产 生 与 算 阵 
二 同 阶 的 零 矩 阵 . 
常数 矩阵 (ones) : 
ones(i,j) 表示 产生 ixj 阶 的 元 素 全 为 1 的 筑 阵 ;onest sizefa)y) 表示 
产生 与 4 同 阶 的 元 素 全 为 1 的 矩阵 . 


1.2 最 优化 方法 计算 


1.2.1 无 约束 极 值 算 例 


1) 一 元 函数 求 极 小 点 
内 部 命令 fmintT ,ab) 表 示 求 一 元 函数 六 xz) 在 区 间 [a,b]j 内 的 极 
小 点 ,其 中 上 是 在 Edit 空间 编辑 的 一 个 外 部 函数 5M 文件 )- 
内 部 命令 fminsearch( ff',x) 表示 求 所 x) 在 初始 点 * 邻近 的 极 小 点 . 
例 1 fx) = (x -3)Wr,x0 =0.5. 
解 (1) 在 Edit 空间 编辑 一 个 外 部 轿 数 , 取 名 fun. m” 
fanction f = fun(x} 
f={x—3) 4* sqrt(x); 
(2) 将 区 文件 fon 存盘 . 
(3} 在 Command 空间 调用 fn， 
x0 =0. 5; 
x=fminsearcht fn ,x0); 


和 二 


1. 0000 ( 记 x 在 x=0.5 附近 的 极 小 点 ) 
fun( x) 
盘 庆 名 三 

-2. 0000 (Fx) 在 极 小 点 所 对 应 的 省 数值 ) 


2) 多 元 函数 求 极 值 
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内 部 命令 fminut '[',x) 表示 求 多 元 函数 记 x) 在 向 量 x 邻近 的 局 部 极 
小 值 ， 

例 2 香蕉 明 数 (Banana Funetion ) 

设 六 x) = 100(x， -zi) +(1-x) ,其 图 形 如 图 下 -2 所 示 .x' = 
( -1.9,2) 为 初始 点 ,x”= (1,1)》 为 极 小 点 ,f(x*)=0 


图 下 -2 


演示 程序 “在 Matlab 的 Command 空间 中 ,选择 菜单 项 Help 的 子 莱 
单 Demos, 即 列 出 求解 该 香 药 函数 的 六 种 算法 的 演示 图 形 , 这 些 无 约束 优 
忆 算 法 分 别 是 :Steepest 算法 ,Simplex 算法 ,DEFP 算法 ,BFCGS 算法 ,Gauss- 
Newton 算法 ,Levenbre-Mareuardt 算法 (篇 称 L-M 算 法). 
解 (1) 自 定义 外 部 孙 数 ,建立 M 文件 . 
function ¥ = funl(x) 
F100* (Cx(2) -x(1)2)2+(1l -x(1))2; 
(2) 存盘 funl. m. 
(3) 调用 funji ; 
x=[ -1.9,2]: 
x=fminut( funl’,x) 
屏幕 显示 : 
1. 0000 1. 0000 
funl tx) 
ams = 
1. 1730e —010 | 
事实 上 ,Matlab 在 演示 中 提 到 的 六 种 无 约束 算法 其 效果 是 不 一 样 的 - 
通过 演示 程序 可 以 看 出 :从 初始 点 x” 出 发 能 全 程 达到 极 小 点 *“ 的 算法 
有 单纯 形 法 (Simplex) .DFP 算法 、BFGS 算 潜 以 及 L- 也 算法 ;从 x"” 出 发 
只 能 搜索 到 中 途 的 算法 是 最 快速 下 降 法 (Steepest) ;只 能 从 "的 邻近 点 
出 发 而 达到 x' 的 算法 是 Gauss-Newton 算法 (G -N); 而 从 x 出 发 最 快 
速达 到 x“ 的 算法 有 DFP,BFGS 算法 ， 
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1.2.2 约束 极 什 
1) 线性 规划 算法 
(LP)Y min ex 
本 作 之 下， 
了 0. 


其 中 4x ER',ceeER',beR". 
内 部 命令 linprog(f,A,b) 表 示 求 上 述 线性 规划 的 最 优 拓 :其 中 工 为 线 


性 规划 的 目标 函数 的 价值 系数 
站 
例 3 
mint2x — 37y) 
+¥ < 10 
.tier+yY 人 <-2 


>1(—-x<-1) | 
解 (1) 自 定义 外 部 函数 ,建立 也 文件 fun2.m( 用 x 表示 二 维 向 量 ， 
其 分 量 x(1) ,x(2) 分 别 表示 题 中 的 x*,y) , 钊 
function f = fun2 (x) 
f=2* x(l1)Y—3*x(t2); 
2)】 存盘 fun2.m 
(3) 调用 ; 
ly js 
b=[10 -2 -1]; 
f=[2 -3]; 
x=linprog({,A,b) 
6. 0000 
4. 0000 
fun2{ xy 
ans = 
5, 6843e — O14 
2) 非 线 竹 规划 算法 (基本 算法 ) 


NTP min f(x), 
4 ) (ee g(x) 所 0. 
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其 中 不 3) 为 n 元 非 线 人 性 沿 数 ,g(x) 为 向 量 值 国 数 ,g(x) =《BICT) 
gatx)) ,要 求 /(*) 与 g(x)(i=1,…,m) 其 中 至 少 有 一 个 为 非 线 性 
函数 ， 
内 部 命令 constrt 把 ',x) ,tf 代表 目标 函数 ,g 代表 约束 函数 ,x 代表 初 
始点 ， 
例 站 
min A(x) = e™ {4x1 + 2x2 + 4x1%, 二 28 +1} 
| + xXx ~ 一 人 0， 
一 Xi -10 0. 
解 (1) 自 定义 外 部 函数 fun3.m 
function[ f,g] = fun3(x) 
f=expCxt1)) «(4 x(1) 2 +2# XC2) 2 +4 xtl1) * Xt2) + 
2#x(2)} +1); 
pC(1Y) =1.5+xtl1) * x(2) -x(1) -x(2); 
EC2) = ~x(1)*xt2) -10; 
【2) 存盘 fun3.m 
(3) 诺 用 : 
x=[ -1,1]}: 
X = constr( fun3’ ,x) 
x 二 
一 昌 , 5474 1. 0474 
[fg =fun3tx) 
f= 
0. 0236 
区 = 
1.0e -014*0.1110 -0.1776 
3) 非 线 性 规划 算法 ( 带 有 参数 的 情形 ) 
例 5 下 界 条 忻 与 上 界 条 忻 
在 例 4 中 ,车 对 闫 策 变量 x 限定 在 某 一 区 域内 ,如 地 <x<wub, 其 中 
wb ,vub 均 为 二 维 向 量 , 则 可 用 如 下 语句 : 
x = constr( ‘fun3’ ,x ,options, vlb ,vub); 


又 如 在 例 4 中 ,要 求 x >0, 则 调用 时 应 发 布 如 下 指令 : 


x=[-1 1]; ‘ 赋 初 值 ; 
options = [ de 【前述 说明 向 量 使 用 缺 省 选项 ) 
yh=[0 0]; 【 赋 下 界 ) 
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vub = | ] ; 无 上 界 ) 


X= onsgtrf "fan3 ,x .options vlb ,vub); 


经 7 次 迭代 后 ,问题 的 解 为 


区 一 


0 1. S000 
[fe] =fun3(x) 
f= 

3.5 000 
g = 

0 -10 


车 决策 变量 * 的 一 部 分 分 量 有 上 ,下 和 界 的 限制 , 则 可 通过 对 t 灿 ,wub 
向 量 部 分 赋值 来 实现 , 当 vB ,vwb 的 分 量 数 日 1 比 向 量 * 的 分 量 数目 4% 人 少 
时 , 则 x 中 只 有 前 + 个 分 景 被 限定 有 界 : 
例 6 不 等 式 、 等 式 混合 约束 
例 4 中 ,车 青 加 入 等 式 约束 xi +x, =0, 则 相应 的 程序 变动 如 下 ， 
解 (1) 自 定义 外 部 函数 
function[ f,g] = fon4kxy) 
f=exp(x(1)) wd4*a(l) 2 +2 * x(2) 2 +4 XC1》 ww XC2) 十 之 
* xC2)+1); 
gC(1) =xt1) +x(2); 
pC(2) =1.5+x(1) *xt2) -x(1)} -x(t2); 
g{3)= -x(1)*xt2) -10; 
(2) 存盘 fun4.,m 
{3} 调用 : 
x=[ -1 1]); 
options{ 13) =1; 
x = constr( fund’ ,x ,options) 
经 11 次 选 代 后 的 解 : 
一 1.2247 1. 2247 
[f,g] =fun4(x) 
f= 
1. 8951 
g = 
0.0000 -0.0000 -8.5000 
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注 ” 参 数 说 明 向 量 options 共有 18 个 分 量 , 包 会 了 在 优化 程序 中 需要 
用 到 的 所 有 参数 ,第 13 个 分 其 的 功能 是 等 式 约 束 条 件 . 例如 options (13) =1 
宕 明 第 一 个 约束 条 件 是 等 式 约 束 ,options(13) =3 表明 第 1 至 第 3 个 约 
东 条 件 是 等 式 约 束 , 因 此 1.3 表示 等 式 约 东 的 个 数 , 等 式 约束 条 件 必须 放 
置 在 变量 g 的 前 几 个 分 量 中 - 


1.2.3 弘 性 最 小 二 乘 问 题 
众所周知 ,已 知 实测 数据 (ty,) ,i=1,2,…,m, 其 中 (i 由， 
Y=) =1,2,…,m, 若 用 多 项 式 
y = Pot,n < mh 
去 拟 合 曲线 YY =f(t) , 则 问题 归结 为 求 超 定 方 程 组 的 解 , 即 解 方程 组 Ax = 


五 ,其 中 
1 丰 如 在 go yi 
2 n 
二 二 1 ta [9 ta ,r= 宇 ， ,7 = 了 2 
1 和 a, yn 


可 以 证 明 4x =5 的 非常 义 解 (最 小 二 乘 解 ) 妈 是 如 下 线性 最 小 二 乘 问 题 的 解 : 
min | Ax -Bl|;. 
x* 安 泉 "+1 
Matlab 给 出 了 非 负 的 线性 最 小 二 乘 问题 的 解法 ; 
min | 4Ax 一 地 | 2 
{: tx > 人 属 . 
Matlab 的 内 部 函数 为 lagnonneg (A,b) ,其 中 A 表示 超 定 方程 的 系数 短 
阵 ,b 表示 右 映 项 - 
例 7 解 超 定 方程 组 


2x +47 = 11， 
3x -3S7y = 3, 
x +2y = 6, 
2x + 三 了 
上 述 方程 组 得 矩阵 形式 为 4 三 = 五 ,其 中 
2 4 
Fy X= 人 = 1, a, 6, 了] 
1 2 y 
2 1 
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解 ”直接 对 Matlab 的 Command 空间 发 布 指令 : 
A=[2 4;3 -5;,1 2;2 1 
bp=[11367]; 

X=lsqnonneg(A,b’)} 
时 一 

3. 0403 

1.2418 


例 8 已 知 实测 数据 如 下 : 


,| 1.00 -0.75 -人 .30 一 心 ,25 0 0.23 0.530 -0.73 1. 00 


,| 9.2209 0.3295 ,8226 1.4392 2.003 2.5645 3.1334 3.7061 4. 2836€ 


试用 一 次 \ 二 次 多 项 式 拟 合 y=A(x). 
解 (1) 一 次 多 项 式 拟 合 . 设 


y=&+bx, 
并 将 实测 数据 (x,,7,),_1...s 代 入 上 式 得 超 定 方程 组 
是 下 = 了 ， 
其 中 ， 
1 一 1.0000 
D.2209 
1 -0.7500 


A=|1 -05000| ,X= [lr |e 


. - 4.2836- .| 
1 1. 0000 -,,, 
Matlab 指令 : 
起 =[1-1.0000;1 -0.7500;1 -0.5000;1 -0.2500; 
1 0.0000; 77;1 0.2500;1 0.5000;1 0.7500; 


1 1.0000]; 
Y=[0.2200 0.3295 0.8826 1.4392 2.003 
2.5645 … 3.1334 3.706] 4.2836]; 
下 =1lsqnonneg( 点 ,YY') 
筷 = 
2. 0625 
2. 1338 


(2) 二 次 多 项 式 拟 合 , 设 
y = a0 + oar + Aa, 


将 实测 数据 (x， Ya, .s 代 入 于 式 得 超 定 方程 组 
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过 下 = 了， 
其 中 

1 TL x 了 | 
{fn 

1 Ei x 3 

过 = , 划 一 好 1 , 工 二 

区 2 

1 Ty 2 了 9 


Matlab 指令 : 
A=[1l -1.0000 1.0000;1 -0.7500 0.5625,...， 
1 -0.5000 0.2500;… ;1 -0.2500 0.0625; 
1 0.0000 0.0000;1 0.2500 0.0625,.., 
1 0.5000 0.2500;1 0.7500 0.5625;1 1.0000 
1. 0000 ] ; 
Y=[0.2209 0.3295 0.8826 1.4392 2.0003 
2.5645 … 3.1334 3.7061 4.2836]: 
有 =lsqnonneg( 息 ,YY'} 
冬 = 
1. 9599 
2. 1338 
0. 2455 
注 ”对 于 三 次 笋 项 式 拟 人 台 , 使 用 Matlab 命令 将 导致 失败 . 因为 三 次 
针 项 式 拟 合 时 ,其 系数 向 量 (ao ,al ,mas) =(1.9599 ,2. 4272 ,0. 2455 ， 
-0.3881)" 中 的 第 4 个 分 量 为 负数 ,这 就 建 反 了 非 负 的 条 件 . 在 本 附录 
1.3.4 中 我 们 将 介绍 名 项 式 拟 合 的 一 般 方法 (去 掉 x 非 负 的 限制 ). 


1.2.4 非 线 性 最 小 二 乘 问题 
数学 模型 :min | F(x) | 其 中 


F(x) = CAO) fAR) se fx)) x = (x rs) 
通常 将 其 写成 平方 和 的 极 小 形式 


min S(x) = D7?) 


上 述 问 题 的 实际 意义 为 : 纵 定 实测 败 据 i, yi),-1.n: 其 中 
1 站 ,Yi 二 用 t,) ,如 果 拟 合 函 数 不 是 民 数 多 项 式 形式 ,如 
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YORX) = x + Xexpt tr) 
【一 元 三 参数 问题 为 实数 ,T 为 二 维 向 量 )， 


区 | 和 


上 下) = 
] 十 区 + Xt 


(一 元 三 参数 问题 ,! 为 二 维 向 是,z 为 二 维 向 量 )， 
则 采用 非 线性 最 小 二 乘法 作 偏差 平方 和 基 数 , 即 


SC(x) = 人 [yz) -2 = Df), 


其 中 偏差 为 Yi ,x) -y= 了 (XD 开工 用 

Matlab 清 数 lsqnonlin('',x) 给 出 了 求解 上 述 非 线性 最 小 二 乘 问题 
的 算法 ,其 中 补 代 表 平 方 和 阔 数 5(x),"x" 是 给 定 的 初始 点 . 

例 9 一 元 三 参数 问题 , 设 已 知 数据 如 下 : 


tb 


1 =5 


7 =460 y=426 y =370 


所 合 孙 数 y(t,X) =x， + 和 exp (ix) ， 


局 


SCx) = [y(t,,r) -yy] = 》 [xz， +x exp(tx,) 一 7] 


给 定 xto = (580, -180,0.16)",S" =0.3 x10.. 

解 (1) 自 定 义 外 部 函数 . 
function S =f(x) 
t=[-5 -3 1 3 5 -1]: 
y=[127 151 421 460 426 379]; 
Ss=0.0; 
for i=1:6 
S=S+ {xC1) +x(2) * exp(tti}y » x(3)) -y(ti))’2 
end 

(2) 存盘 fm 

(3) 调用 : 
x=[580 -180 0.16]; 
x=lsqgnonlin( 'f ,x) 


592.3862 ”一 190. 5805 -0.1883 
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SS=f(x) 
鸟 一 
2. 1310e 十 日 . 04 


1.3 数据 分 析 


1.3,1 数据 的 输入 和 输出 


1) 键盘 输入 单个 参数 (input 命令 ) 
例 1 fx) =[(x-0.3)" +0.01] +[(x-0.9) +0.04] -6, 
计算 x) 的 值 ,其 中 x 是 待 输 入 参数 . 
解 (1) 建立 函数 文件 fm( 存 盘 ). 
funetion y =f(x) 
y= tx-0.3)2+0.01) +( (x -0.90})2 +0.04) -6; 
(2) 建立 文本 文件 s. 如 存盘 ). 
x=input( input x:'): 
y =f(x) 
(3) 运行 s. mm 
8 {在 Command 空间 发 布 》 
屏幕 显示 
input x: 
5 (Command 空 介 发 布 } 
y= 
32. 9300 
2) 矩阵 输入 (小 型 矩阵 ) 
例 2 解 线性 方程 组 4z = 五 ,其 中 


1 172 17/3 
太 -| 173 4 = (x ,x2 sk3), 


1x3 1A4 175 
bp =(1176,13/12,47760)". 
解 (1) 建立 文本 文件 solution. m( 存 盘 ). 
a=[1 1l2 1/3 ;1/2 1/3 1/431/3 1/4 1/5]; 
p=[11/6 13/12 47760] ; 
x=a\b' 
(2) 运行 solution. m 
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solution ‘在 Command 空间 发 布 ) 
屏幕 显示 
1. 0000 
1. 0000 
1. 0000 
3) 用 数据 文件 输入 (大 型 矩阵 ) 
例 3 经 济 (longley) 数 据 
某国 (或 菜 地 区 )1947 年 一 1962 年 ( 共 16 年 ) 的 经 济 数据 如 表 开 -1 
所 示 


注 : GNP 表示 紧缩 率 ,GDP 表示 国民 生产 总 慎 


附 表 1 -上 内 的 数据 构成 16 x7 阶 和 矩阵 . 若 用 前 面相 种 方式 输入 显然 
不 宣 , 下 面 用 数据 文件 输 人 . 

解 (1) 建立 数据 文件 (或 文本 文件 )longley. dat, 在 Edit 环境 下 写 
人 如 下 数据 块 (16 行 ,7 列 ): 


总 沁 x 总 总 XX 


总 Xx 其 沁 A XK 


2) 存盘 longley. dat. 
《3) 调用 ， 
longley 
屏幕 显示 16 x7 数据 块 , 骨 调用 : 
[np] =sizel longley) 
屏幕 显示 : 
n= 


16 
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p= 
7 
(4) 也 可 建立 文本 文件 longley. m, 设 赋值 变量 名 为 idata, 在 Com- 
mand 空间 键入 
idata=[x x x x Xx x Xi 
ee x x x x x x xl 
[n,p] = size(lidata) 
建立 文本 文件 longley. m 存盘 后 再 调用 : 
longley- m 
屏幕 分 别 显示 出 16 x? 阶 的 以 变量 idata 标志 的 数据 块 以 及 与 上 面相 同 
的 np 值 ， 


1.3,2 列 数据 分 析 


下 列 内 部 函数 具有 列 数据 的 分 析 功 能 : 

给 定 longley 16 x7 阶 短 败 
maxt lonpley ) longley 的 各 列 的 最 大 值 所 构成 的 行 向 量 
mint longley) longley 的 各 列 的 最 小 值 所 构成 的 行 向 量 
meant longley) longley 的 各 列 的 平均 值 所 构成 的 行 向 量 
mediam(longley ) longley 的 各 列 的 中 值 所 构成 的 行 向 量 
stdf longley) longley 的 各 列 的 标准 差 (者 方差 ) 所 构成 的 行 向 量 
sum( longley ) longley 的 各 列 元 素 总 和 所 构成 的 行 向 量 
prod( longley ) longley 的 各 列 元 素 乘积 所 构成 的 行 向 量 


巷 给 定 * 为 列 向 量 , 则 max(x) ,min(z) ,… ,prod(x*) 均 为 数 ; 阁 为 
行 向 量 , 则 它们 仍 为 行 向 量 . 

例 4 求 矩 阵 longley 的 误 差 矩阵 ， 

一 个 给 定 矩 阵 的 误差 算 阵 是 由 该 矩阵 每 一 列 元 素 分 别 减 去 该 列 元 家 
的 均值 所 形成 的 . 

解 发布 如 下 指令 : 

[n,p] =*sizeflongley) 

屏幕 显示 : 


e=onestn,l) 
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屏幕 显示 : 
1 
1 
已 = . 
1 
发 布 指令 
m = mean( longley ) 
屏幕 显示 : 
m= 
1.0e +0.03 
1.9550 1.0120 0.3975 0.3351 0.2798 0.1174 
0. 0660 
发 布 指 令 


mean = Longley ~e* m 
屏幕 显示 longley 的 误差 逢 阵 (16 x7 阶 ). 
注 设 m=[m(1) m(2) m(3) mt4) m(5) m(6) m(7)]. 
1 


em = 和 [m(1) m(2) "mm(7)] 
| 
m{l}) ma27 … m(7) 
m{l) me2) 7 
m{l)} ma 1 mm(7) 


Longley -+ m 是 从 longley 的 各 列 分 别 减 去 各 列 的 均值 m( 站 (2:= 
1，…7) 而 形成 的 误差 符 阵 , 即 


x—- mill) x-m(2) … x—-m(7) 
x— mil) x-m(2) 1 x-m(7) 
x—- mil) x-m(2) 1 x-m(7) 


1.3.3 实测 数据 归 一 化 {标准 化 ) 


当 试 图 对 茶 组 数据 进行 拟 合 或 回归 时 ,首先 应 对 数据 标准 化 ,以 改善 
结果 的 精确 度 ， 
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设 数据 块 longley 为 16 x7 阶 和 矩阵. 标准 化 该 数据 的 方法 为 ; 
{1) 移 去 均值 ,得 误差 矩阵 . 
e = ones(length{ longley) ,1); 
x =longley — e* mean( longley); 
(2) 标准 化 ,即将 * 化 为 单位 标准 差 矩 阵 - 
std( x); 
e* std(x); 
x=x./ te std(x)); 
注 设 std(w) =[51,5,,…,5;], 则 


Si SS 
S| 5S，… 5; 
e. atd(x) =| . . . 
$, 5 … $8; 
(3) 对 单位 标准 差 害 阵 ,计算 相关 系数 短 阵 . 
x'wx/(n—-1) fn = lengthf longley) 》 
ans = 
x XxX x XxX Xx x 


x XxX XxX x Xx XxX Xx 《C16x7 防 ) 


其 中 相关 系数 x = 上 
先 不 对 longley 标准 化 ,直接 求 相 关系 数 : 


correoef( longley ) 


旦 ITILS 三 
x XxX xX XxX XxX Xx (C16 x7 了 购 ) 
x XxX XxX xX x XxX x 
其 中 相关 系数 ”x ”最 小 值 为 0. 1774, 最 大 值 为 1. 0000. 


1.3.4 多 项 式 拟 合 


下 面 介绍 多 项 式 拟 合 的 两 种 方法 - 
1) 解 超 定 方程 组 Ax =b( 对 x 不作 非 负 的 限制 ) 
设 实测 数据 (4 ,Yi) -nm , 令 拟 合 多 项 式 
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Se 


yD) = Got + oat + t+a t+a, 


将 (i, ) 代 入 十 式 ,得 


导 
yf) = got to + tot ta = y= 1,2,.,m. 


从 而 形成 超 定 方程 组 4x =8, 其 中 


的 和 本 fi f 
-1 
1 t, 1 
入 = _ 9 
an mn-—1l 
tn i tf mxtn+]y 
T 
二 《Go 0 A,) 了 


b= yoy sy ) 
该 超 定 方程 组 得 最 小 二 乘 解 , 即 极 小 问题 min | 4x -5 上? 的 解 x 为 所 
求 的 拟 合 系数 
x = (a ,ar sd} 
实现 十 述 过 程 的 Matlab 程序 步骤 为 : 
第 一 步 ,形成 超 定 方程 组 的 系数 矩阵 , 即 
for j=l:(n+1) 
AC:D) = (n+1 -j); 
end 
第 二 步 , 解 超 定 方程 组 Ax =&, 即 
x=A\b 
注 超 定 方程 的 系数 矩阵 4 是 超 定 矩 阵 , 因 而 未 能 定义 道 阵 ,但 可 
定义 广义 道 阵 . 这 里 取 妇 的 左 广义 首 阵 及 = (4 4)747, 故 工 = 有 8= 
(4"4)-"'A'h, 即 
X=inv( 各 "入 ) 中 页 ”本 上; 
设 实 测 数据 (7), -io 如 下 表 
t, 用 心 . 科 . 这 0.3 0.4 .5 0.6 总 . 了 总 ,名 .9 1,0 
I 2. 3 2.5 2.9 3.2 3.3 3. 久 4.1 4.9 5.4 5 


用 三 次 多 项 式 拟 合 上 述 实测 数据 (n =3) 
下 面 编 写 Matlab 程序 : 
(1) 定义 文本 文件 fitting. m 
21=0:0.1;1; 
b=[2.12.32.52.93.23.33.8 4.14.95,.45.8], 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 www, fineprint,cn 


附和 水 下 Natlab 及 其 频 用 395 


n=input( 'input n:’); 
for j=1l:tn+1) 
A(:,j) =i "tn+1 -1); 
end 
X= 三 直 和 b 
(2) 存盘 fitting. m 
(3) 运行 文本 文件 : 
fitting 
屏幕 显示 : 
input n: 3 
屏幕 显示 ; 
0. 6993 
1. 2005 
1. B8869 
2. 1077 
(4) 车 需 画 出 拟 合 函 数 的 图 形 , 只 项 在 文本 文件 fiting. m 中 加 入 以 了 
内 容 ; 
{0.05:0, 1;1.05;(0.05 为 初 值 ,0.1 为 步 长 ,1.05 为 终 值 ) 
y=polyval( x,t); 
Plotft ,usb， +'); 


在 上 述 各 语句 中 ,各 标志 变量 的 含义 为 : 


x 一 一 实测 数据 自 变 元 值 ; u 一 一 拟 合 多 项 式 的 值 ; 
b 一 一 实测 数据 半数 值 ; s 一 一 拟 合 系数 向 量 ; 
t 一 一 等 距 原 点 - 
(5) 运行 
fitting 
屏幕 显示 图 形 如 图 看 -3 ,图 中 实 线 代 表 拟 合 盟 线 ,” + "代表 实测 数据 的 


2) 直接 调用 Matlab 内 部 函数 
直接 调用 Matlab 内 部 函数 
polyfit( x ,y,n) 
其 中 参数 向 量 x,y 表示 实测 数据 ,n 表示 拟 合 多 项 式 的 次 数 . 
(1) 建立 交 本 交 忻 fitting. mm 
t=0:0.1.,1; 
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一 一 


屏幕 显示 : 


屏幕 显示 : 


如 下 : 


性 回归 方 程 


亦 即 
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约束 最 优化 方法 


1.4 


b=[2.12.32.52.93.23.33.8 4.14.95.45.8]; 


n=input{ input n:'); 


x = polyfittt,b,n) 


(2) 存盘 fitting. m 
(3) 运行; 


fitting 


input mn:3 


0. 6993 1. 2005 1. B869 


1.3.5 多 元 线性 向 与 
为 处 理 例 3 中 的 经 济 数据 , 现 考虑 六 元 线性 回归 问题 . 设 实 测 数 据 


so sin st "bsrts :Yi) CF = l,m) EE 


"is 的 每 一 组 值 ,有 


2 
y ~ Not + ot t+ + gats t+ G0 ), 
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其 中 回归 自 变 元 所 , 才 , :6 以 及 回归 因 变 元 y 均 为 随 视 变量 . 设 六 元 线 


= 二 +， 


好 对 于 fi ty, 


其 中 a,(i=1,2,.……,6),6 均 为 未 知 参 数 , 且 不 依赖 让 人 =1,2,.,6), 
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y= td + +tatsta +t+s, a ~ NOB) 
下 面 利用 所 给 实测 数据 去 估计 和 参数 a,(ti=1,2,…,6) 的 值 总 (i=1， 
2,… ,6) ,从 而 得 到 回归 方程 
三 看 + dts + te + 


参数 了 =1,2,…:6) 的 估计 ,采用 极 大 似 然 法 


记 fi = [#1 tl Cn fn ] 
tf; = [5 ta tz | 9 
fs = [i fe tn | , 
y=[y yy … 3 加]， 
x=[ 6 如 灾 ]， 
从 而 形成 超 定 方程 纵 的 系数 矩阵 
i Fs ts 1 
ty ty tas 1 
站 = 
Ei fy fs 1 WT 


由 超 定 方程 组 4r = 了 解 得 
二 A 
例 5 给 出 16x7 的 数据 块 longley, 现 以 longley 的 前 6 列 数 据 { 年 
份 ,GNP,GDP, 失 业 率 ,军队 人 人数 ,人 大口 数 ) 线 性 回归 第 7 列 数据 一 一 就 
业 率 . 
解 【1) 标准 化 longley ,得 单位 标准 差 矩 阵 . 
x=x./(e* std(x)) 
(2) 令 ; 
y=x(:,7) 
(3) 形成 超 定 方程 组 的 系数 矩阵 ， 
起 =[x(;,1:6) ones(ty) | 
‘4) 形成 超 定 方程 组 . 
Ax =y 
(5) 求解 : 
T=A/Y’ : 
注 = (6,6,,…,6,6,) 代表 回归 方程 的 参数 向 量 的 佑 计 值 , 即 
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为 问题 之 所 求 . 
下 面 用 Matlab 编程 : 
《1) 建立 文本 文件 coef. m 
c=ones(length( longleyy ,1); 
x = longley -6 * meant longley) ; 
X=x. /te* std(xr)); 
y=xt1,7), 
A=[x(:,1:6) ones(y)]; 
X=A\y 
(2) 存 查 toef. m 
(3) 运行 : 
Copf 


屏幕 显示 : 


1.0e +003 + 

0. 0018 

0. 0000 

0. 0000 

0. 0000 

0. 0000 

0. 0000 
-3.49082 
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第 10、11 章 习 题 
1. 有 下 询 线 性 规划 问题 : 


min £ =4x, + 3x, + Bx,, min ? = 3 + 2%, + Xs 十 中 二 
| 十 不; 这 22， 2x5 十 二。 + 5x + X20, 
《17 | + 2 汪 33， pe Mz, -xy + Tx 2x 基 卫 ， 
| Sx + A 十 和 + 1 


A 下 . 


2 用 对 偶 单 纯 形 法 求解 下 列 线性 规划 问题 : 


Max 2x) + %,, max z 二 之 和 | 十 才 Y + +%， 
5x, 15, | x + 3x, + x, S$, 
6x1 + 27; 24， 2x, + x, 6， 
(1) XY 十 % 5， (2) dx +% + 生 汪 ， 
LE 3; 1 十 和 十 省 裤 品 ， 


和 0 人 = ,4). 
3. 现 要 做 100 套 锦 架 , 每 套用 长 为 2.9 m,2.1 m 和 1.5 m 的 元 钢 各 一 根 . 已 知 诛 
料 长 7.4 m, 间 应 如 何 下 料 , 使 用 的 原材料 最 省 7? 
4. 某 饲 兼 场 饲 养 动 物 出 此 , 设 每 头 动物 每 天 至 少 需 700 & 和 蛋白质.30 g8 闻 物质、 
100 mg 维生素. 现 有 物种 伺 料 可 殿 选 用 ,各 种 幅 料 每 千克 营养 成 分 含量 及 单价 如 下 
表 所 示 : 


和 蛋白质 (g) 矿物 质 (g) 维 生 率 (mg; | 价格 (元 /千克 ) 


1 


要 求 确 定 既 满足 动物 生长 的 营养 需要 ,又 使 贵 用 量 省 的 选用 饲 料 的 方案 ? 
5， 考 虚线 性 规划 问题 
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max 2 = x) 十 了 xn 十 党 — 44x, 
x Ta -x = 4+28, ‘1) 
st | 2x — x 二 3x -2% = 5 + 78, (2) 
CT YX 蒂 昌 ， 


模型 中 e,B 为 参数 ,要求 ， 

{1) 组 成 两 个 新 的 约束 (1)' =(1) + (2),(2)'={2) -201) ,根据 (1) (2) ， 
以 x 1x2 为 基 变 且 , 列 出 初始 单纯 形 表 ; 

(2) 在 表 中 ,假设 B=0, 则 a 为何 舍 时 ,x ,*; 为 问题 的 最 优 基 

(3) 在 表 中 ,假设 a =3, 则 8 为 何 俊 时 ,x ,x; 为 问题 的 量 优 基 : 

6， 给 出 线性 规划 何 题 


max 一 XI + x + Was 
XI 二 区 一 
x — Xr +* = 1, 
24) + x + 2 
xl 0 ,x 之 Do 无 鲍 训 . 
(1) 写 出 其 对 偶 问 题 ;{2) 利用 对 侦 问 题 性 质证 明 原 问题 目标 函数 值 z 拟 1. 
?. 写 出 下 还 钱 性 规划 的 对 侦 规 划 
max z = Ox, + dt, + Xs + Tr + DXs, 
3x, + Tx + Bx3 + xs + Hi 3, 
【1)] 7 38 + x + 3x + 2x 十 35 一 是， 
车， 生计 4 和 0 ,rs 为 自由 变量 ; 
minz = 2x) + 2x, + 4dr, 
2X) + 3x + 5%4 入 了， 
Dx + x 十 7x 5 
‘2) 
Xx + + 宝 5， 
X19 这 0, 为 自由 变量 ， 
8， 某 工厂 生产 ,B,C 三 种 产品 ,其 所 需 劳动 力 、 材 料 等 有 关 数 据 见 下 表 . 要 求 : 
(1) 确 定 获 利 最 大 的 产品 生产 计划 ;(2) 产品 的 利 渔 在 什么 内 变动 时 ,上 还 最 优 计 
划 不 变 ;(3) 如 果 设 计 一 种 新 产品 D , 单 件 劳动 力 消耗 8 单位 ,材料 消耗 为 2 单位 ,每 


件 可 获 利 3 元 , 问 该 种 产品 是 否 信 得 生产 ? (4) 如 果 劳 动力 数量 不 增加 ,材料 不 足 时 
可 以 市 场 购 买 ,每 单位 0.4 元 . 何 该 厂 要 不 要 购 进 原材料 扩大 生产 ,以 购 多 少 为 宜 ? 
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可 用 量 ( 单 位 ) 


45 
30 


产品 利润 (元 ”7 件 ) 3 1 4 

3， 某 服务 部 门 各 时 段 { 每 2 个 小 时 为 一 时 段 ) 需 要 的 服务 人 数 见 下 表 , 按 规定 ， 
服务 员 连 续 工 作 8 小 时 t 即 四 个 时 眉 ) 为 一 址 . 现 要 求 安 排 服务 员 的 工作 时 间 , 人 司 服 
务 部 门 服务 员 总 数量 少 ? 


10， 用 分 枝 定 界 法 求解 


MEX = XX| + %,， max xz = 3x 一 和 + 2x,, 
a 
4 3x, + 10x, 所 50, 
1 277 一 2X%， 守 28， 
(1} 2 {2) 1 3 
XTi， 
XT ， 
T] yy Ta 取 整 数 . 
TyTy 取 辑 数 ; 
11， 用 制 平 面 法 求解 下 面 整数 规划 
TBX 3 = 34 一 区 max zs = 35 + x:, 
3x, 一 2x 所 3， 35| 二 Xx; 了 D 
Sx + dx, 3 10， Xi + x 3， 
C1) x + XT i2) 4 x + Br 闻名 ， 
xz 革 习 ， Xi 
TI To 取 回 数 ; EL Ty 取 整 束 . 


12. 解 下 烈 0 -1 型 整数 规划 
minz = Sx + Tx, + HOx, + Sx + 区 ID = Dx + ry — Xs 


xl 十 3x + xi 硅 2， 


1 
机 | 一 3 + Sx + We 一 4 3 字 ， 
4 + x 扫 于 ， 
一 了 YX + Hx, = xs — 2 十 了 x5 0, 
tl} 【2 45 2， 
一 了 和 十 2%4 一 了 一 2 1 ， 
XX 二 一 


Ti = 或 1; 
Xi 三 自 惑 1 


13. 和解 下 列 系 数 和 矩阵 的 最 小 化 措 话 问题 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


402 下 站 ”次 来 最 优化 方法 


3 6&6 2 6 
10 ll 4 2 名 7 1 4 4 
(1) 1 lt 10 14 12 | (2) 3 名 5 8 | 
5 6& 9 12 14 6 4 3 7 
13 15 1 10 3 了 5 2 4 3 
5 7 6 2 


i4， 需 要 要 派 5 人 去 做 5 项 工作 ,每 人 做 各 项 工作 的 能 力 评 分 匈 下 表 , 应 如 何 分 
号 ,才能 使 总 的 得 分 最 大 ? 


第 12 章 习题 
1. 已 知 最 忧 化 问题 的 约 东 条 件 为 


| 十 5 十 了 383 实 二 ， 
xz 十 43 + S12, 


Tr 0 


分 别 写 出 下 列 关 点 的 所 有 起 作用 约束 : 
fi 4= (0,0,0)T, (2) x=(2,2,0)", (3)》 x = (C23.0,0), (4) 
1 1 
*= (1 3) 
2. 求 如 下 间 题 的 慌 - 了 点 : 
{1) min (x - 3)” + (x -4)’], 


st 16 (x, -4) -0D, 
(xz -3) + (x -2)” = 13， 
(2) min [fx -3) + (x -2)°1, 
st 4- -x 
xl 其， 
x 守 0， 
z 二 2x 4 = 0. 
3， 试 说 明 约 东 问 题 
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min [{x, 二 3 + (x -4)’]， 


8.t. 和 一 上 十 52 区， 


要 2 


xi 寺 双 基站 


在 点 x= (2,2)" 处 满足 几何 最 优 性 条 忻 , 击 在 点 x* = {2, -2)" 处 不 满足 几何 最 优 性 


条 性 ， 
4. 写 出 约束 何 题 
min [tx 2) + (x,—1)’], 
49.t,9-x + 二 0 
的 K-T 条 件 . 
5， 设 阿 题 


min {-x), 
at. (1—x} -x 0, 
xi 区 0， 
za 汪峰 , 
(1) 写 出 与 此 问题 对 应 的 K-T 了 菜 忻 ; 
(2) 检验 *=(0,1)7 和 二 =(1;0) 是否 是 K-T 点 ,是 否 为 最 优点 ? 
6， 设 癌 题 
min {- 2x -3x), 
Bt， xl + A 和， 
一 区 | 十 2 4 ， 
X10. 
(1) 写 出 此 问题 的 K-T 茶 件 ， 
{2) 验证 最 优点 x' ={4,4) 是 多-T 点 ; 
(3》 验证 如 下 的 基本 可 行 解 x*” = (0,0)" ,x = (0,2)",x ”={8,0)" 都 不 是 
及 -人 点 - 
7， 设 问题 
minf(x}) 二 政 "， 
B.A BN) 0 = 1,2 ,em, 
试 证 明 ,* 是 如 上 问题 的 K-T 点 的 充 要 条 忻 为 
VAr)'d 0, 
Vl) da0,ie Nx), 
其 中 ,2 为 工 处 的 一 个 可 行 方向 ， 
3. 若 F(x) 是 可 微 凸 函数 , 则 是 规划 各 是 
min fx), 
| 
的 量 优 解 的 充分 必要 条 件 为 
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f(t) 关中， 


rT 人, 
所 (TI 二 和. 
第 13 章 习 题 
1， 试 导出 下 列 规划 问题 的 蒜 点 问题 
min fr), 
【1)7PP) s.t. ELT) 站 ， 
不 全 烛 ， 
其 中 了 R",g(lx) = (B11(T) B21) ,BT)). 
(2) (PP) min A(x), 


St， gx) = 0, 
其 中 x R'EX) = {g(r) ,g(x) ,go 5))". 
2.， 试 求 下 列 规划 问题 的 鞍点 


《1》 mijinfx -1)” -2x， 
a. 1. 一 和 +1 夺 人 避 ， 

ER. 

(2 min x + Xa 


3 
art. x -x 所， 


EE 
5! 无 限制 ， 
3. 若 有 规划 问题 
min er, max 在 种， 
(PP) st AxT 守 ,DP) stWAEr, 
下 3 是 ， n= 0. 


(1) 分 别 写 出 LPP) 问 题 的 K-T 问题 
{2) 车 与 于 分 别 鸭 (PP) 与 (DP) 问 题 的 最 优 解 ,还 明 { 下 ,#) 为 (PP) 的 加 点 ; 反 


之 亦 真 ， 
第 14.15.1f 章 习 题 
1. 试 求 约束 问题 
min f(x) = (x, -6)° + {x, 一 2) ， 
st -2 一 2x 守 一 4， 
-3x| -2 守 ~ 12， 
xf 区 
的 下 降 可 行 方向 ， 


2. 已 知 点 工 满 足 问 题 
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min ftxr), Ee 及， 
a.t, ef) Di = 1 
的 玉 -T 杀 件 , 试 证 明 对 工 站 的 任 -- 可 行 方向 &, 都 有 成 立 下 式 
vARd 0, 
3， 用 Zoutendijk 可 行 方向 法 求解 
C1} min f(x) = Axi + 27 — 32x, - 34x,, 
3-t. 一 x 和 守 一 2， 


人 
fy 和 区 人 
(2) 六 区 了 (村 = 
8.【， 一 %3 学 一 2， 
EP 15 用 
(3) min (Cx: + ddr), 
Bt x +r lr = (0,2)'), 
15x, + 10x, > 12, 


x x 2 0. 


4. 用 & -起 作用 可 行 方向 法 求解 
min (x -2)* + (x, -0.5)’, 
st. 1.5-x2 -x Ox = {0,1}"), 
-x + 2x FD, 
xz 关 0， 
5. 用 投影 梯度 法 求 癌 题 
min |fxs -332 + (x 3) + (x — 1), 
gt， 2x) 十 3 + 0x £6, 
xx ia 和 


在 点 x =(0,0,0)” 处 的 一 个 下 降 可 行 方向 . 
6、 用 投影 梯度 法 求解 


(1) min x Dx + 1 


CR Ty 字 0, {x {2,1,0.0)) 
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x = D. 
(2) min dx + (x, - 2)’, 


St XX 半 一 2， 


x 所 2， {x = -1,1)") 
x 宇 一 1， 
x 1. 
(3) min |2x1 + 2x: -2x x - 4x - x), 
at 一 和 一 Ya 了 了， fx = (0,0)") 


一 x 5x 计 一 5， 
x 0 ,x 0. 

7 用 外 点 法 求解 约束 问题 

(1) min Nx) = r+ 


a.t, x +% -2 = 人 0, 


(2) m 


fe 言 ( 的 让 二 


a.t. x -1 主人 0， 
奈 ， 语 昌 ， 
(3) min f(z,%) = + 
gt 了 xi 二 不 一 之 所 身 ， 
-x+1 和 志峰 . 
#， 责 障碍 函数 法 求解 
Cl) min Fx) = x + Xs 
s.t wi+Xi 人 0, 


x! 汪 眉 ， 
(2) Ne 下 二 3 PE 


sa-t. XI 一 人 避 ， 
x 2 由 . 


并 与 ?是 中 的 (2) 作 比较 ， 
3. 用 广义 乘 子 法 求解 
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{1) min (xi +2x2)(t 取 v= 0)， 
st xi 十 fa 一] = 作 ， 

(2) min flx) = x + vx + Xi, 
Bt. wx) + 2x, = 下， 


10. 写 出 她 下 二 次 规划 间 题 和 的 玉 -T 了 条件 


3 -1 0 
min x) - 训 - 和 ane 
0 -1 1 


gt XR + 2x, + x = 二. 


11. 求解 二 次 规划 问题 


3 -1 2 
min Nx) 三 | "2 + ‘1, 一 3， 一 卫 ) 基 ， 
2 0 4 


3z 一 2x, 二 55 实生， 
一 2，+ 3x, + 2x 二 3， 


亚 1 1 和 2 1 认 】 六 昌 . 


第 17 章 习题 


1. 机 器 负荷 分 配 问 题 

某 公司 有 资金 10 万 元 , 著 投 次 于 项 目 访 i=1,2,3) 的 投资 为 *, 时 ,其 收益 分 别 为 
B22 如何 分 配 投 资 烙 才 能 使 总 收益 最 大 ? 

2. 有 一 辆 最 天 货运 量 为 10 吨 的 卡车 ,用 以 装载 3 种 货物 ,每 种 货物 的 单位 重量 
级 相应 单位 价值 站 下 表 所 示 . 应 如 何 装载 可 使 总 价值 最 大 ? 


货物 编号 (i) 


单位 重量 (1) 


单位 价值 *， 


3. 用 道 推 解法 和 顺 推 解法 求解 下 面 问题 


max = 区 XX Ts 
[ + x + x = ete > 0), 


x 0,1 = 1,2,3, 
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4， 生 产 与 存 凡 问题 
某 工厂 生产 并 镜 肯 某 种 产品 ,已 知 今后 四 个 月 市 场 需求 预测 如 下 甫 ,由 每 月 生产 
单位 产品 费用 为 : 


性 
ea | 
ws 
每 月 库存 单位 产品 的 费用 为 ,该 厂 最 大 库存 容量 为 3 单位 ,每 上 月 最 大 生产 能 力 为 6 单 
位 ,计划 开始 和 计划 期 末 库 存量 都 是 零 . 试制 定 四 个 月 的 生产 计划 ,在 满足 用 户 需 求 
条 件 下 总 费用 最 小 . 


5， 设 某 人 有 400 万 元 现金 ,计划 在 四 年 内 车 投资 用 去 万 元 就 能 获得 万 元 的 效 
用 .每 年 没有 用 掉 的 金 新, 连同 利息 (年 利息 10 和 名 1 可 再 用 余下 一 年 的 投资 , 而 每 年 以 
打算 用 于 投资 的 金额 不 计 利 息 - 是 指定 金额 的 使 用 计划 ,而 使 四 年 内 获得 的 总 效用 
最 大 ? 

《17 用 动态 规划 方法 求解:52) 用 拉 格 斋 日 滋 数 法 求解 多 3 比较 两 种 解法 ,并 说 
明 动 态 规划 方法 有 哪些 优点 ? 

5 试用 动态 规划 的 方法 求解 


max 所 证 ) = $x + Xr + Xs 
x +x 蕊 1， 
2% + wy 蕊 2 

2 za ta 为 非 负 整数 . 


7. 设 有 一 个 工厂 为 市 场 生产 某 种 产品 ,每 月 月 初 对 产品 的 销售 情况 进行 一 次 检 
查 ,其 铺 果 有 二 : 销 肯 好 ! 记 为 状态 1) ;也 可 能 销 肯 差 ( 记 为 状态 2}. 若 处 于 状态 上 ,由 
于 各 种 随机 困 素 的 干扰 ,下 月 初 仍 处 于 销路 好 的 概率 为 0.5, 转 为 链 路 差 的 概率 也 为 
0.5; 若 处 于 状态 2, 则 下 月 新 转 为 销路 好 的 概率 为 0.4, 仍 外 于 销路 差 的 概率 为 0. 6. 
这 状态 转移 乱 活 为 


Pu Pn .5 0.5 
P - | 


Py Pz ly 全 由 


若 某 月 者 销路 好 ,下 月 初 仍 销路 好 可 获 利 9 千 元 ,下 月 初 转 为 销路 善 可 获 利 3 于 元 ; 
若 某 月 杞 销路 差 ,下 月 初 转 为 销路 好 可 获 利 3 干 元 ,下 月 禄 转 为 销路 差 要 亏本 ?了 于 
元 . 财报 酬 矩 阵 为 


PDF 文件 使 用 " pdfFactory Pro” 试用 版 本 创建 wwwfineprint .cn 


芍 束 最 优化 方法 习题 409 


间 题 是 在 若干 月 内 采取 什么 决策 才能 使 其 总 期 望 报酬 量 天 . 

8. 某 公 司 打 算 在 3 个 不 同 地 区 设置 4 个 销售 点 ,根据 市 场 预测 部 门 估 计 ,在 不 
同好 区 设备 不 同 数 量 的 销售 站 ,每 月 可 得 利润 如 下 表 所 示 ,试问 应 如 何在 各 地 区 设置 
悄 此 站 ,可 使 每 月 总 利润 县 天 ? 


9， 为 保证 某 设备 正常 运转 , 需 对 捉 联 工作 的 三 种 不 同 零件 4,A: ,As ,分 划 确 定 
备件 数量 . 若 增 加 备用 零件 的 数量 ,可 所 高 设备 正常 运转 的 可 此 性 ,但 费用 要 增加 ,而 
兽 投 资 额 为 8 千 元 .已 知 备 用 零件 数 与 它 的 可 靠 性 和 和 费 用 关系 如 下 表 所 示 , 求 上 ， 
A: ,Ai ,点 得 备用 零件 数量 各 为 多 少时 ,可 使 设备 运转 的 可 昔 性 最 高 . 


备用 零件 费用 ( 千 雹 ) 
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